[논문 리뷰] System and Methods for Converting Speech to SQL

S. Sachin Kumar, Ashish Kumar외 2명|arXiv (Cornell University)|2013. 08. 14.

Advanced Database Systems and Queries참고 문헌 4인용 수 5

한 줄 요약

이 논문은 HTK와 Julius를 통해 음성 인식을 수행하고, JFLex와 BYACC를 사용한 어휘 분석, 구문 분석 및 문법 기반 번역을 통해 구두 영어 질의를 실행 가능한 SQL 질의로 변환하는 도메인 독립적 시스템을 제안한다. 주요 기여는 도메인 특화 학습 데이터가 필요 없이 엔드 투 엔드 음성에서 SQL로의 변환을 가능하게 하는 모듈형이고 데이터베이스에 종속되지 않는 프레임워크이다.

ABSTRACT

This paper concerns with the conversion of a Spoken English Language Query into SQL for retrieving data from RDBMS. A User submits a query as speech signal through the user interface and gets the result of the query in the text format. We have developed the acoustic and language models using which a speech utterance can be converted into English text query and thus natural language processing techniques can be applied on this English text query to generate an equivalent SQL query. For conversion of speech into English text HTK and Julius tools have been used and for conversion of English text query into SQL query we have implemented a System which uses rule based translation to translate English Language Query into SQL Query. The translation uses lexical analyzer, parser and syntax directed translation techniques like in compilers. JFLex and BYACC tools have been used to build lexical analyzer and parser respectively. System is domain independent i.e. system can run on different database as it generates lex files from the underlying database.

연구 동기 및 목표

• 관계형 데이터베이스를 위한 음성 영어 질의를 실행 가능한 SQL로 엔드 투 엔드로 변환할 수 있도록 하는 것.
• 도메인 특화 언어 모델이 필요 없이 자연어 음성을 구조화된 SQL로 변환하는 과제를 해결하는 것.
• 실시간으로 스키마에서 lex 파일을 동적으로 생성함으로써 기반 데이터베이스 스키마에 종속되지 않는 시스템을 개발하는 것.
• 어휘 분석, 구문 분석 및 문법 기반 번역과 같은 컴파일러 설계 기법을 활용하여 자연어 입력으로부터 정확하고 견고한 SQL 생성을 수행하는 것.

제안 방법

• 음성 입력은 HTK와 Julius를 사용하여 음성에서 텍스트로 변환되며, 음향 모델과 언어 모델을 활용한다.
• 수신된 영어 텍스트 질의는 BYACC로 구축된 커스터마이즈된 파서를 통해 분석되며, 자연어의 문법적 구조를 위한 문맥 자유 문법 규칙을 지원한다.
• JFLex를 통해 생성된 어휘 분석기(lexical analyzer)는 텍스트 질의에서 키워드, 컬럼 이름, 연산자 등의 토큰을 식별한다.
• 규칙 기반 번역 규칙을 적용하여 자연어 표현을 WHERE, JOIN, 집계 절 등에 해당하는 SQL 구문으로 매핑한다.
• 시스템은 대상 RDBMS의 스키마에서 동적으로 lex 파일을 생성함으로써 도메인 독립성을 확보한다.
• 문법 기반 번역 기법을 사용하여 언어적 구조를 해당하는 SQL 구문으로 매핑하는 의미 트리를 구축한다.

실험 결과

연구 질문

• RQ1 기성의 음성 인식 도구를 사용하여 음성 영어 질의를 정확하게 텍스트로 변환할 수 있는가?
• RQ2 어떤 규칙 기반 접근 방식이 자연어 표현을 구조화된 SQL 구문으로 신뢰성 있게 매핑할 수 있는가?
• RQ3 실시간으로 스키마 기반 어휘 생성을 통해 특정 데이터베이스 스키마에 종속되지 않는 시스템을 설계할 수 있는가?
• RQ4 어휘 분석, 구문 분석 및 번역과 같은 컴파일러 기법이 음성에서 SQL로의 변환 정확도를 어느 정도 향상시키는가?

주요 결과

• 시스템은 규칙 기반 방법과 컴파일러 설계 도구만을 사용하여 음성 영어 질의를 실행 가능한 SQL 질의로 성공적으로 변환한다.
• JFLex와 BYACC의 사용은 어휘 및 구문 분석 파이프라인의 효율성과 유지보수성을 높인다.
• 시스템은 런타임에 데이터베이스 스키마에서 lex 파일을 동적으로 생성하므로 완전히 도메인 독립적이다. 이는 다양한 RDBMS 인스턴스에의 배포를 가능하게 한다.
• HTK와 Julius를 통합한 음성에서 텍스트로의 변환은 목표 도메인의 자연어 처리 작업에 충분한 정확도를 달성한다.
• 규칙 기반 번역 파이프라인은 약속, 필터링, 집계를 포함한 다양한 질의 유형에서 뛰어난 견고성을 보이며, 레이블링된 학습 데이터가 필요로 하지 않는다.