[논문 리뷰] An End-to-end Neural Natural Language Interface for Databases

Prasetya Ajie Utama, Nathaniel Weir외 7명|TUbilio (Technical University of Darmstadt)|2018. 04. 02.

Topic Modeling참고 문헌 22인용 수 28

한 줄 요약

DBPal는 자연어 질의를 SQL로 강력하게 번역할 수 있는 엔드 투 엔드 신경망 자연어 인터페이스를 도입한다. 이는 문장에서 문장으로 작동하는 RNN 모델을 사용하여 다양한 자연어 질의, 특히 어색한 표현이나 문법적 변형이 있는 경우에도 SQL로의 번역을 가능하게 한다. DBPal는 오직 데이터베이스 스키마 메타데이터로부터 합성 학습 데이터를 생성함으로써 수동 애너테이션의 부담을 줄이며, 새로운 데이터베이스에 대해 최소한의 노력으로 신속하게 구현할 수 있고, 규칙 기반 및 이전의 신경 기반 접근 방식보다 정확도가 향상된다.

ABSTRACT

The ability to extract insights from new data sets is critical for decision making. Visual interactive tools play an important role in data exploration since they provide non-technical users with an effective way to visually compose queries and comprehend the results. Natural language has recently gained traction as an alternative query interface to databases with the potential to enable non-expert users to formulate complex questions and information needs efficiently and effectively. However, understanding natural language questions and translating them accurately to SQL is a challenging task, and thus Natural Language Interfaces for Databases (NLIDBs) have not yet made their way into practical tools and commercial products. In this paper, we present DBPal, a novel data exploration tool with a natural language interface. DBPal leverages recent advances in deep models to make query understanding more robust in the following ways: First, DBPal uses a deep model to translate natural language statements to SQL, making the translation process more robust to paraphrasing and other linguistic variations. Second, to support the users in phrasing questions without knowing the database schema and the query features, DBPal provides a learned auto-completion model that suggests partial query extensions to users during query formulation and thus helps to write complex queries.

연구 동기 및 목표

• 기존의 SQL이나 시각적 도구를 사용할 때 비기술적 사용자가 관계형 데이터베이스를 쿼리하는 데 높은 진입 장벽을 겪는 문제를 해결하기 위해.
• 같은 질의 의도를 다양한 언어적 표현으로 표현하는 경우, 예를 들어 어색한 표현이나 문법적 차이가 있는 경우에도 자연어에서 SQL로의 번역이 강건하게 작동하도록 개선하기 위해.
• 오직 데이터베이스 스키마 메타데이터만을 사용하여 합성 학습 데이터를 생성함으로써 수동 애너테이션의 부담을 최소화하기 위해.
• 실시간 자동 완성 기능을 통해 사용자 상호작용을 향상시키기 위해. 이 기능은 맥락과 학습된 언어 모델을 기반으로 질의의 확장을 제안한다.
• 스키마나 SQL 구문을 알지 못하는 사용자도 복잡하고 즉각적인 질의를 수행할 수 있도록 지원하는 실용적이고 확장 가능한 NLIDB 시스템을 구축하기 위해.

제안 방법

• 자연어 질문을 해당하는 SQL 질의로 매핑하는 데 사용되는 문장에서 문장으로 작동하는 순환 신경망(Sequence-to-Sequence, Seq2Seq) 모델을 학습함으로써, 일반화 능력을 향상시키기 위해 딥 러닝을 활용한다.
• 오직 데이터베이스 스키마와 최소한의 애너테이션만을 사용하여 자연어와 SQL 쌍의 대규모 학습 데이터를 생성하는 합성 데이터 생성 파이프라인을 구현한다.
• PPDB 데이터베이스를 활용하여 어색한 표현 기법을 사용해 학습 데이터를 증강함으로써 언어적 변형의 커버리지 확보를 높인다.
• 유사한 Seq2Seq 모델을 사용하여 실시간 자동 완성 시스템을 구현함으로써 입력 중에 맥락 기반 질의 확장을 제안함으로써 명확성과 모호함 감소를 도모한다.
• 합성 데이터에서 엔드 투 엔드로 학습된 시스템은 새로운 데이터베이스에 대해 최소한의 인간 간섭으로도 구현이 가능하다.
• 수작업으로 만든 온톨로지나 규칙 기반 시스템을 피함으로써 도메인 독립적이며 확장 가능한 접근 방식을 확보한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 모델이 동일한 질의 의도를 다양한 언어적 표현으로 표현하는 데 대해 강건한 자연어에서 SQL로의 번역을 달성할 수 있는가?
• RQ2 오직 스키마 메타데이터에서 유래한 합성 데이터 생성 방식이 NLIDB 시스템에서 수동 애너테이션된 학습 세트를 얼마나 효과적으로 대체할 수 있는가?
• RQ3 실시간 자동 완성 기능이 사용자가 모호하지 않고 질의에 적합한 자연어 입력을 작성하도록 이끄는 데 얼마나 효과적인가?
• RQ4 동일한 신경망 모델이 자연어에서 SQL로의 번역과 자동 완성 기능을 동시에 수행하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 이 시스템의 성능은 어색한 표현이나 복잡한 질의를 다룰 때 규칙 기반 또는 이전의 신경 기반 NLIDB 시스템과 비교해 어떻게 뛰어나게 되는가?

주요 결과

• DBPal는 NaLIR와 같이 규칙 기반 파싱에 의존하는 최신 기술 대비 어색한 표현과 언어적 변형에 대해 훨씬 뛰어난 강건성을 보여준다.
• 합성 데이터 생성 방식을 통해 오직 수동 애너테이션을 최소화함으로써 고성능의 자연어에서 SQL로의 번역 모델을 학습할 수 있으며, 새로운 데이터베이스에 대한 구현 부담을 줄일 수 있다.
• 동일한 신경망 모델을 사용한 자동 완성 기능의 통합은 사용자 경험을 향상시켜 모호하지 않고 문법적으로 타당한 질의로 향하도록 도와준다.
• 시스템은 합성 데이터에서 엔드 투 엔드로 학습되어 수동으로 레이블링된 자연어-SQL 쌍이 필요 없으며, 새로운 스키마에 대한 빠른 적응이 가능하다.
• 강화 학습이나 광범위한 수동 애너테이션 데이터를 요구하는 이전의 신경 모델보다 성능이 뛰어나다.
• 프로토타입은 비기술적 사용자에게 특히 유용한 실생활 데이터 탐색 시나리오에서의 실용적 구현 잠재력을 높게 보여준다.