[논문 리뷰] SQLNet: Generating Structured Queries From Natural Language Without Reinforcement Learning

Xiaojun Xu, Chang Liu외 1명|arXiv (Cornell University)|2017. 11. 13.

Topic Modeling참고 문헌 35인용 수 303

한 줄 요약

SQLNet은 시퀀스-투-세트 방식과 열 주의(attention)로 스케치를 사용하여 NL-to-SQL의 순서-민감 문제를 피하고, 강화 학습 없이 WikiSQL에서 최첨단 결과를 달성합니다.

ABSTRACT

Synthesizing SQL queries from natural language is a long-standing open problem and has been attracting considerable interest recently. Toward solving the problem, the de facto approach is to employ a sequence-to-sequence-style model. Such an approach will necessarily require the SQL queries to be serialized. Since the same SQL query may have multiple equivalent serializations, training a sequence-to-sequence-style model is sensitive to the choice from one of them. This phenomenon is documented as the "order-matters" problem. Existing state-of-the-art approaches rely on reinforcement learning to reward the decoder when it generates any of the equivalent serializations. However, we observe that the improvement from reinforcement learning is limited. In this paper, we propose a novel approach, i.e., SQLNet, to fundamentally solve this problem by avoiding the sequence-to-sequence structure when the order does not matter. In particular, we employ a sketch-based approach where the sketch contains a dependency graph so that one prediction can be done by taking into consideration only the previous predictions that it depends on. In addition, we propose a sequence-to-set model as well as the column attention mechanism to synthesize the query based on the sketch. By combining all these novel techniques, we show that SQLNet can outperform the prior art by 9% to 13% on the WikiSQL task.

연구 동기 및 목표

• NL2SQL 과제가 쿼리 순서가 비결정적일 수 있어 seq2seq 모델을 저해할 수 있다는 문제를 다룬다.
• 순서 문제를 피하기 위한 스케치 기반 생성 프레임워크를 제안한다.
• SQL 합성을 개선하기 위해 시퀀스-투-셋 예측과 열 주의 메커니즘을 도입한다.
• RL 없이 WikiSQL 데이터셋에서 Seq2SQL보다 향상된 성능을 시연한다.
• 스케치 기반 생성이 unseen 스키마로 일반화될 수 있는 방법에 대한 통찰을 제공한다.

제안 방법

• SQL 스케치를 SQL 문법 및 슬롯 간 의존성을 반영하도록 정의한다.
• WHERE 절을 순서화된 시퀀스가 아닌 열-값 제약의 집합으로 예측한다(시퀀스-투-셋).
• 질문 임베딩을 특정 열에 조건지우기 위해 열 주의 메커니즘을 도입한다.
• VALUE 부분 문자열을 생성하기 위해 열 인식(attention)을 갖춘 포인터 기반 디코더를 사용한다.
• SELECT 절 구성 요소(열 및 집계자)도 WHERE와 유사하게 단일 열에 대해 예측한다.
• 집합 기반 예측에 대한 수정된 손실과 다른 구성 요소에 대한 표준 크로스 엔트로피로 학습한다.

실험 결과

연구 질문

• RQ1 클래스 순서가 임의인 NL2SQL 작업에서 스케치-기반 시퀀스-투-세트 접근이 강화 학습의 필요성을 제거할 수 있는가?
• RQ2 열 주의가 WHERE 및 SELECT 절에 나타나는 열을 예측하는 정확도를 향상시키는가?
• RQ3 WikiSQL에서 SQLNet가 순서-영향, 쿼리 매칭, 실행 정확도 면에서 Seq2SQL과 비교해 어떤 차이가 있는가?
• RQ4 최적화 중에 단어 임베딩을 학습하는 것이 NL2SQL 성능에 어떤 영향을 미치는가?
• RQ5 테스트 스키마가 보이지 않는 테이블에서 오거나 학습 분포에서 추출된 경우 SQLNet의 성능은 어떠한가?

주요 결과

• SQLNet은 테스트 세트에서 정확한 쿼리 매칭 및 실행 정확도가 각각 61.5%와 68.3%로 최첨단 WikiSQL 결과를 달성한다.
• 시퀀스-투-세트 생성기로 대체함으로써 순서-민감 제약을 제거하고 강화 학습의 필요성을 없앤다.
• 열 주의는 일반 시퀀스-투-세트 모델에 비해 약 3점의 향상을 제공하며, 학습 시 임베딩 업데이트와 결합되면 약 2점이 더 추가된다.
• WHERE 절 예측은 제안된 아키텍처의 혜택을 가장 많이 받으며 해당 하위 작업에서 Seq2SQL에 비해 상당한 이점을 얻는다.
• 전반적으로 SQLNet은 WikiSQL에서 Seq2SQL보다 약 9–13포인트 향상하며, 강화 학습 없이 NL2SQL에 대한 새로운 기준치를 확립한다.