[논문 리뷰] IncSQL: Training Incremental Text-to-SQL Parsers with Non-Deterministic Oracles

Tianze Shi, Kedar Tatwawadi외 4명|arXiv (Cornell University)|2018. 09. 13.

Natural Language Processing Techniques참고 문헌 34인용 수 59

한 줄 요약

IncSQL는 다중 올바른 SQL 형식을 다루기 위해 비결정적 오라클을 사용한 증분 텍스트-SQL 파서를 학습하며, 실행 가이드 디코딩과 함께 WikiSQL에서 실행 실행 정확도 최첨단을 달성한다.

ABSTRACT

We present a sequence-to-action parsing approach for the natural language to SQL task that incrementally fills the slots of a SQL query with feasible actions from a pre-defined inventory. To account for the fact that typically there are multiple correct SQL queries with the same or very similar semantics, we draw inspiration from syntactic parsing techniques and propose to train our sequence-to-action models with non-deterministic oracles. We evaluate our models on the WikiSQL dataset and achieve an execution accuracy of 83.7% on the test set, a 2.1% absolute improvement over the models trained with traditional static oracles assuming a single correct target SQL query. When further combined with the execution-guided decoding strategy, our model sets a new state-of-the-art performance at an execution accuracy of 87.1%.

연구 동기 및 목표

• NL2SQL를 실용적인 데이터베이스 질의 인터페이스로서 동기를 부여하고 올바른 SQL 형태들 간의 의미적 변이를 다룬다.
• 행동 인벤토리를 통해 SQL 슬롯을 점진적으로 채우는 증분 시퀀스-투-액션 파서를 제안한다.
• 다수의 유효한 액션 시퀀스를 다루기 위해 비결정적(동적) 학습 오라클을 도입한다.
• 비결정적 학습이 WikiSQL에서 실행 정확도를 향상시킨다는 것을 보인다.
• 실행 가이드 디코딩의 이점을 보여주어 최첨단 성능에 도달한다.

제안 방법

• 초기 상태에서 종료 상태까지 SQL 쿼리를 점진적으로 구성하는 미리 정의된 액션 인벤토리를 정의한다.
• 가능한 집합에서 다음 액션을 선택하기 위해 이중 선형 점수화가 있는 LSTM 기반 디코더를 사용한다.
• 단어와 컬럼 머리말의 맥락 의존 표현을 위해 내부-시퀀스 주의 및 교차 시퀀스 주의를 갖는 bi-LSTM 인코더를 사용한다.
• 여러 올바른 액션 연속을 허용하는 비결정적 오라클로 학습하여 다양한 유효 SQL 형태에 대한 견고함을 향상시킨다.
• 빔 탐색 중에 높은 확률의 부분 SQL을 가지치고 선택하기 위해 실행 가이드 디코딩을 선택적으로 적용한다.
• WikiSQL에서 실행 가이드 디코딩 사용 여부에 따라 실행 정확도와 논리 형식 정확도를 측정한다.

실험 결과

연구 질문

• RQ1 정적 오라클에 비해 비결정적(동적) 학습 오라클이 증분 NL2SQL 파서의 학습을 향상시킬 수 있는가?
• RQ2 실행 가이드 디코딩이 비결정적 학습과 어떻게 상호작용하여 실행 정확도를 높이는가?
• RQ3 WHERE 절의 순서 변화 및 암시적 컬럼 언급에 대해서 증분적이고 액션-슬롯 채움식 파서가 어느 정도까지 처리할 수 있는가?
• RQ4 이 접근법이 WikiSQL을 넘어 ATIS와 같은 다른 NL2SQL 데이터셋에 일반화될 수 있는가?

주요 결과

모델	Dev Acc_lf	Dev Acc_ex	Test Acc_lf	Test Acc_ex
Coarse2Fine (Dong & Lapata, 2018)	72.5	79.0	71.7	78.5
MQAN (McCann et al., 2018)	76.1	82.0	75.4	81.4
IncSQL (static oracle)	76.1	82.5	75.5	81.6
IncSQL (non-det. oracle, “order-matters” only)	75.4	82.2	75.1	81.8
IncSQL (non-det. oracle)	49.9	84.0	49.9	83.7
IncSQL (non-det. oracle) + EG (5)	51.3	87.2	51.1	87.1

• 비결정적 오라클이 WikiSQL에서 정적 오라클보다 실행 정확도를 2.1퍼센트 포인트 향상시킨다.
• 실행 가이드 디코딩과 빔 크기 5의 조합은 테스트 실행 정확도 87.1%의 새로운 최첨단 성능을 달성한다.
• 정적 오라클 성능은 이전 SOTA 모델과 경쟁력이 있으며, 비결정적 학습은 주로 실행 지표를 향상시킨다.
• 오라클에서 ANYCOL를 허용하면 암시적 컬럼 참조를 포착하는 데 도움이 되며 실행 정확도가 81.8%에서 83.7%로 상승한다.
• ATIS에서 비결정적 학습은 실행 정확도 향상을 제공하며 다른 NL2SQL 데이터셋으로의 일반화를 시사한다.