[논문 리뷰] Speech-to-SQL: Towards Speech-driven SQL Query Generation From Natural Language Question

Yuanfeng Song, Raymond Chi-Wing Wong외 2명|arXiv (Cornell University)|2022. 01. 04.

Speech and dialogue systems인용 수 7

한 줄 요약

이 논문은 자연어 음성에서 직접 구조화된 SQL 쿼리로 변환하는 새로운 엔드 투 엔드 작업인 Speech-to-SQL을 소개한다. 이는 오류가 발생하기 쉬운 단계적 ASR+텍스트-to-SQL 파ip라인을 회피한다. 제안된 SpeechSQLNet 모델은 직접 음성 신호를 활용하여, 새로 구축한 SpeechQL 데이터셋에서 단계적 방법과 최신 텍스트-to-SQL 모델보다 높은 정확도를 달성한다. 이는 음성 기반 데이터베이스 쿼리의 가능성과 우수성을 입증한다.

ABSTRACT

Speech-based inputs have been gaining significant momentum with the popularity of smartphones and tablets in our daily lives, since voice is the most easiest and efficient way for human-computer interaction. This paper works towards designing more effective speech-based interfaces to query the structured data in relational databases. We first identify a new task named Speech-to-SQL, which aims to understand the information conveyed by human speech and directly translate it into structured query language (SQL) statements. A naive solution to this problem can work in a cascaded manner, that is, an automatic speech recognition (ASR) component followed by a text-to-SQL component. However, it requires a high-quality ASR system and also suffers from the error compounding problem between the two components, resulting in limited performance. To handle these challenges, we further propose a novel end-to-end neural architecture named SpeechSQLNet to directly translate human speech into SQL queries without an external ASR step. SpeechSQLNet has the advantage of making full use of the rich linguistic information presented in speech. To the best of our knowledge, this is the first attempt to directly synthesize SQL based on arbitrary natural language questions, rather than a natural language-based version of SQL or its variants with a limited SQL grammar. To validate the effectiveness of the proposed problem and model, we further construct a dataset named SpeechQL, by piggybacking the widely-used text-to-SQL datasets. Extensive experimental evaluations on this dataset show that SpeechSQLNet can directly synthesize high-quality SQL queries from human speech, outperforming various competitive counterparts as well as the cascaded methods in terms of exact match accuracies.

연구 동기 및 목표

• 단계적 ASR + 텍스트-to-SQL 파이프라인의 한계를 해결하기 위해, 이는 오류 누적과 고성능 ASR가 요구됨.
• 비기술자 사용자의 접근 장벽을 낮추기 위해 직접적인 엔드 투 엔드 음성 자연어 질문을 실행 가능한 SQL 쿼리로 변환하는 것을 목표로 함.
• 특히 구두로 표현되는 언어가 없는 저자원 언어에 특히 유리한, 텍스트를 거치지 않는 음성 기반 인터페이스를 탐색함.
• 엔드 투 엔드 훈련 및 평가를 지원하기 위해 기존 텍스트-to-SQL 데이터셋에 음성 전사 데이터를 추가하여 새로운 벤치마크 데이터셋인 SpeechQL을 구축함.
• 임의의 음성 질문으로부터 정확한 SQL을 생성하는 엔드 투 엔드 음성-to-SQL 모델의 효과성을 검증함.

제안 방법

• 중간 ASR 전사 없이 원시 음성 신호에서 SQL 쿼리로 직접 매핑하는 엔드 투 엔드 신경망 아키텍처인 SpeechSQLNet을 제안함.
• 풍부한 언어적 및 프로소딕 정보가 텍스트 전사에서 손실되는 것을 방지하기 위해, MFCC 등 음성 표현을 입력으로 사용함.
• 음성 임베딩을 구조화된 SQL 구문으로 매핑하기 위해 어텐션 메커니즘을 갖춘 순차적-순차적 모델을 설계함.
• 유명한 텍스트-to-SQL 벤치마크에 음성-질문 쌍 데이터를 추가하여 새로 구축한 SpeechQL 데이터셋에서 모델을 공동으로 훈련함.
• ASR 유사 오류에 대한 강건성을 향상시키기 위해 음성 특징과 순차적 모델링을 조합한 하이브리드 훈련 전략을 채택함.
• 엔드 투 엔드 성능을 평가하기 위해 단계적 기준(ASR + 텍스트-to-SQL)과 최신 텍스트-to-SQL 모델과의 비교를 수행함.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 음성-to-SQL 모델은 SQL 생성 정확도에서 단계적 ASR + 텍스트-to-SQL 파이프라인을 능가할 수 있는가?
• RQ2 텍스트 기반 모델과 비교해 직접적인 음성-to-SQL 모델링이 언어적 및 프로소딕 신호를 얼마나 잘 유지하는가? 이는 일반화 능력 향상에 기여하는가?
• RQ3 입력이 이미 전사된 상태에서, 엔드 투 엔드 모델은 ASR 오류에 얼마나 강건한가? 그리고 저자원 언어로 일반화할 수 있는가?
• RQ4 음성 기반 인터페이스는 비기술자 사용자가 관계형 데이터베이스를 쿼리하는 데 소요되는 시간과 인지적 부담을 어떻게 줄일 수 있는가?
• RQ5 특히 저자원 언어 환경에서, ASR 전사에 의존하는 것보다 원시 음성 신호를 활용하는 것이 더 나은 일반화를 이끌어내는가?

주요 결과

• SpeechSQLNet은 단계적 ASR + 텍스트-to-SQL 방법보다 더 높은 정확도의 정확 일치율을 달성하여, 음성-to-SQL에 대한 엔드 투 엔드 학습의 우수성을 입증함.
• 후자의 모델이 동일한 SpeechQL 데이터셋에서 파인튜닝된 경우조차도 SpeechSQLNet이 승리함으로써, 직접적인 음성 입력의 이점이 확인됨.
• ASR 오류율이 33%에 이르면 후속 텍스트-to-SQL 모델의 정확도가 36% 이상 감소함으로써, 단계적 시스템의 취약성이 드러남.
• 제안된 SpeechQL 데이터셋은 엔드 투 엔드 음성-to-SQL 모델의 신뢰할 수 있는 평가를 가능하게 하며, 향후 음성 기반 데이터베이스 쿼리 연구를 지원함.
• 음성-to-SQL은 비기술자 사용자 및 저자원 언어 공동체에게 특히 실현 가능하고 효과적인 패러다임으로 입증됨.
• 결과적으로 음성 신호에는 전사 과정에서 손실되는, SQL 생성에 유리한 비언어적 정보가 포함되어 있음을 검증함.