[논문 리뷰] Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning

Victor W. Zhong, Caiming Xiong외 1명|arXiv (Cornell University)|2017. 08. 31.

Data Mining Algorithms and Applications참고 문헌 40인용 수 785

한 줄 요약

Seq2SQL은 SQL 구조를 활용하고 실행 보상으로 정책을 학습시켜 자연어 질문을 SQL 쿼리로 변환하며, WikiSQL에서 최첨단 성과를 달성합니다.

ABSTRACT

A significant amount of the world's knowledge is stored in relational databases. However, the ability for users to retrieve facts from a database is limited due to a lack of understanding of query languages such as SQL. We propose Seq2SQL, a deep neural network for translating natural language questions to corresponding SQL queries. Our model leverages the structure of SQL queries to significantly reduce the output space of generated queries. Moreover, we use rewards from in-the-loop query execution over the database to learn a policy to generate unordered parts of the query, which we show are less suitable for optimization via cross entropy loss. In addition, we will publish WikiSQL, a dataset of 80654 hand-annotated examples of questions and SQL queries distributed across 24241 tables from Wikipedia. This dataset is required to train our model and is an order of magnitude larger than comparable datasets. By applying policy-based reinforcement learning with a query execution environment to WikiSQL, our model Seq2SQL outperforms attentional sequence to sequence models, improving execution accuracy from 35.9% to 59.4% and logical form accuracy from 23.4% to 48.3%.

연구 동기 및 목표

• 관계형 데이터에 질의하는 진입장벽을 낮추기 위해 데이터베이스에 대한 자연어 인터페이스를 고무한다.
• 출력 공간을 가지치기하기 위해 SQL 구조를 활용하는 신경망 모델을 제안한다.
• 실행 시점의 쿼리 실행 보상을 이용한 강화 학습으로 순서가 정해지지 않은 WHERE 절 생성을 다룬다.
• SQL 쿼리와 표 스키마를 갖춘 대규모 실제 NL 질문 데이터셋인 WikiSQL을 공개한다.

제안 방법

• 입력에서 토큰(열, 질문, 및 SQL 어휘)을 선택하여 SQL을 생성하는 확장된 포인터 네트워크를 사용한다.
• SQL을 집계 연산자, SELECT 열, WHERE 절의 세 구성으로 분해하고; 집계와 SELECT를 교차 엔트로피 손실로 지도한다.
• 순서가 바뀌는 조건을 처리하기 위해 in-the-loop 쿼리 실행으로부터의 보상을 사용하는 정책 기울기(policy gradient)로 WHERE 절을 학습한다.
• SQL 구조를 활용해 출력 공간을 가지치고 희귀 단어/열의 생성을 개선한다.
• L_agg, L_sel(교차 엔트로피) 및 L_whe(강화 학습)를 결합한 혼합 목적으로 학습한다.
• WikiSQL 데이터셋(24,241개 표에 걸친 80,654개의 예시) 및 학습과 평가를 위한 실행 엔진을 제공한다.

실험 결과

연구 질문

• RQ1 보이지 않는 테이블 스키마에 대해도 자연어 질문에서 정확한 SQL 쿼리를 생성할 수 있는 신경망 모델이 있는가?
• RQ2 SQL 구조와 강화 학습의 도입이 기존 의미 파서보다 실행 정확도를 향상시키는가?
• RQ3 대규모 실제 NLQ-to-SQL 데이터셋(WikiSQL)이 교차 테이블 일반화를 가능하게 하는 면에서 이전 의미 파싱 데이터셋과 어떻게 비교되는가?

주요 결과

모델	Dev Acc_lf	Dev Acc_ex	Test Acc_lf	Test Acc_ex
Baseline (Dong & Lapata, 2016)	23.3%	37.0%	23.4%	35.9%
Aug Ptr Network	44.1%	53.8%	43.3%	53.3%
Seq2SQL (no RL)	48.2%	58.1%	47.4%	57.1%
Seq2SQL	49.5%	60.8%	48.3%	59.4%

• Seq2SQL은 WikiSQL에서 실행 정확도 면에서 최첨단 의미 파서보다 우수하다(35.9%에서 59.4%로).
• Seq2SQL은 논리 형태 정확도도 향상시킨다(23.4%에서 48.3%로).
• 강화 학습 없이도 확장된 포인터 네트워크가 실행 정확도에서 이미 기본값보다 17.4% 증가시킨다.
• SQL 구조(세 부분 분해)의 도입으로 추가로 3.8% 이득이 생긴다.
• WHERE 절에 대한 정책 기울기 RL이 추가로 2.3% 이득을 준다.
• COUNT 연산자에서 Seq2SQL은 확장 포인터 기본값보다 더 높은 정밀도, 재현율, F1을 달성한다(각각 72.6, 66.2, 69.2).