[논문 리뷰] ValueNet: A Neural Text-to-SQL Architecture Incorporating Values

Ursin Brunner, Kurt Stockinger|arXiv (Cornell University)|2020. 05. 29.

Topic Modeling참고 문헌 41인용 수 7

한 줄 요약

ValueNet 및 ValueNet light는 사용자 질문에서 유추된 값들을 SQL 생성에 통합하는 최초의 엔드투엔드 신경망 텍스트-SQL 모델이다. 이 모델들은 데이터베이스 메타데이터와 기초 데이터를 모두 활용하여 암시적이고 명시적인 값 후보를 추출한다. 이는 더 도전적인 평가 지표에서 Spider 데이터셋에서 각각 64%와 60%의 최고 성능 실행 정확도를 달성한다.

ABSTRACT

Building natural language interfaces for databases has been a long-standing challenge for several decades. The major advantage of these so-called text-to-SQL systems is that end-users can query complex databases without the need to know SQL or the underlying database schema. Due to significant advancements in machine learning, the recent focus of research has been on neural networks to tackle this challenge on complex datasets like Spider. Several recent text-to-SQL systems achieve promising results on this dataset. However, none of them extracts and incorporates values from the user questions for generating SQL statements. Thus, the practical use of these systems in a real-world scenario has not been sufficiently demonstrated yet. In this paper we propose ValueNet light and ValueNet -- the first end-to-end text-to-SQL system incorporating values on the challenging Spider dataset. The main idea of our approach is to use not only metadata information about the underlying database but also information on the base data as input for our neural network architecture. In particular, we propose a novel architecture sketch to extract values from a user question and come up with possible value candidates which are not explicitly mentioned in the question. We then use a neural model based on an encoder-decoder architecture to synthesize the SQL query. Finally, we evaluate our model on the Spider challenge using the Execution Accuracy metric, a more difficult metric than used by most participants of the challenge. Our experimental evaluation demonstrates that ValueNet light and ValueNet reach state-of-the-art results of 64% and 60% accuracy, respectively, for translating from text to SQL, even when applying this more difficult metric than used by previous work.

연구 동기 및 목표

• 기존 텍스트-SQL 시스템이 사용자 질문에서 유래한 값을 통합하지 못해 실생활 적용에 한계가 있음을 해결한다.
• 데이터베이스 스키마 메타데이터와 실제 기초 데이터 값 모두를 활용하여 엔드투엔드 텍스트-SQL 생성을 가능하게 한다.
• 입력 질문에 명시적으로 언급되지 않은 값 후보를 식별하고 활용하여 텍스트-SQL 시스템의 실용성과 유용성을 향상시킨다.
• 실행 정확도라는 더 엄격한 평가 지표를 사용하여 Spider 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 사용자 질문에서 값을 추출하고, 명시적으로 언급되지 않은 값 후보까지 포함한 가능한 값 후보를 생성하기 위한 새로운 아키텍처 스케치를 제안한다.
• 신경망 모델의 입력으로 테이블 및 컬럼 이름 등의 메타데이터와 데이터베이스 내 실제 값 등의 기초 데이터를 모두 통합한다.
• 자연어 입력과 추출된 값에 조건부로 SQL 쿼리를 생성하기 위해 인코더-디코더 신경망 아키텍처를 활용한다.
• 두 단계 프로세스를 사용한다: 첫 번째로 값 추출 및 후보 생성, 두 번째로 풍부한 입력 표현을 활용한 SQL 생성.
• 골드 스탠다드 SQL 쿼리의 지도를 통해 Spider 데이터셋에서 모델을 엔드투엔드로 훈련시킨다.
• 실행 정확도를 평가 지표로 사용한다. 이는 생성된 SQL이 데이터베이스에서 실행되었을 때 올바른 결과를 도출하는지 측정한다.

실험 결과

연구 질문

• RQ1 사용자 질문에서 유래한 값을 통합함으로써, 복잡한 실생활 데이터베이스에서 텍스트-SQL 시스템의 정확도를 향상시킬 수 있는가?
• RQ2 스키마 메타데이터를 초월한 기초 데이터 값 통합은 SQL 생성 성능 향상에 얼마나 효과적인가?
• RQ3 신경망 모델이 입력 질문에 명시적으로 언급되지 않은 암시적 값 후보를 얼마나 잘 식별하고 활용할 수 있는가?
• RQ4 제안된 방법은 이전 방법들과 비교해 더 엄격한 실행 정확도 지표 하에서 최고 성능을 달성하는가?

주요 결과

• ValueNet light는 Spider 데이터셋에서 실행 정확도 64%를 달성하여 더 도전적인 실행 정확도 지표 하에서 새로운 최고 성능을 기록한다.
• ValueNet는 실행 정확도 60%를 기록하여 더 복잡한 변종임에도 불구하고 뛰어난 성능을 보여준다.
• 기초 데이터 값 통합은 특히 암시적 값 참조가 포함된 경우에 정확한 SQL 쿼리를 생성하는 데 모델의 능력을 크게 향상시킨다.
• 제안된 값 추출 메커니즘은 사용자 질문에 명시적으로 언급되지 않은 값 후보를 성공적으로 식별하여 모델의 강건성을 향상시켰다.
• 실행 정확도로 평가했을 때, 이전 접근 방식보다도 모델이 Spider 벤치마크에서 더 뛰어난 성능을 보였다. 이는 쿼리 수준 정확도보다도 실생활 성능을 더 신뢰할 수 있는 지표이기 때문이다.
• 결과는 스키마 메타데이터와 실제 데이터 값 모두를 통합함으로써 더 정확하고 실용적인 텍스트-SQL 시스템을 구축할 수 있음을 확인한다.