[논문 리뷰] Editing-Based SQL Query Generation for Cross-Domain Context-Dependent Questions

Rui Zhang, Yu Tao외 8명|arXiv (Cornell University)|2019. 09. 02.

Topic Modeling참고 문헌 53인용 수 49

한 줄 요약

이 논문은 이미 예측된 질의를 편집하여 SQL을 생성하는 편집 기반 인코더-디코더 모델을 제안하며, cross-domain 맥락 의존적 텍스트-투-SQL 처리를 다루기 위해 utterance-table 인코더와 테이블 인식 디코더를 보강합니다. 이는 SParC 및 Spider 데이터셋에서 최첨단 baselines 대비 특히 편집 쿼리와 BERT 기반 utterance-table 표현을 활용했을 때 성능 향상을 달성합니다.

ABSTRACT

We focus on the cross-domain context-dependent text-to-SQL generation task. Based on the observation that adjacent natural language questions are often linguistically dependent and their corresponding SQL queries tend to overlap, we utilize the interaction history by editing the previous predicted query to improve the generation quality. Our editing mechanism views SQL as sequences and reuses generation results at the token level in a simple manner. It is flexible to change individual tokens and robust to error propagation. Furthermore, to deal with complex table structures in different domains, we employ an utterance-table encoder and a table-aware decoder to incorporate the context of the user utterance and the table schema. We evaluate our approach on the SParC dataset and demonstrate the benefit of editing compared with the state-of-the-art baselines which generate SQL from scratch. Our code is available at https://github.com/ryanzhumich/sparc_atis_pytorch.

연구 동기 및 목표

• 여러 턴 간 맥락이 중요한 cross-domain, 맥락 의존적 텍스트-투-SQL 생성을 동기화한다.
• 이전 생성된 SQL 쿼리를 편집하여 생성 결과를 재사용하고 오류 전파를 줄인다.
• Utterance-table 인코더와 테이블 인식 디코더로 복잡한 테이블 스키마를 도입한다.
• SParC(교차 도메인, 맥락 의존)와 Spider(맥락 독립적 교차 도메인) 데이터셋에서 평가한다.
• 편집이 세그먼트 복사보다 강건함을 입증하고, BERT 기반 인코딩의 이점을 정량화한다.

제안 방법

• 발화문과 테이블 스키마를 Turn-지원 utterance-table 인코더로 인코딩하며, bi-LSTM과 발화-열 제목 간의 공동 주의를 사용한다; Utterance-Table 표현에 대해 BERT 기반 임베딩을 선택적으로 사용한다.
• Turn 주의가 있는 상호작용 수준의 히스토리 인코더를 유지하여 턴 간 의존성을 포착한다.
• 열 제목과 발화 토큰에 주의를 기울이는 테이블 인식 디코더로 SQL을 디코드하고, SQL 키워드 또는 열 제목에 대한 분포를 출력한다; SQL 키워드 대 열 제목에 대한 이차 점수 매커니즘으로 출력 조정을 한다.
• 이전 쿼리에 조건화된 쿼리 편집 메커니즘을 확장하고, 이전 쿼리에서 복사할지 새 토큰을 삽입할지를 결정하는 switch p_copy를 학습하여(이전 쿼리 분포와 현재 출력 분포의 조합 사용)
• 쿼리 주의 구성요소를 도입하여 이전 쿼리의 토큰과 이전 턴의 토큰에 주의를 기울여 편집 결정에 정보를 더한다.

실험 결과

연구 질문

• RQ1 이전에 생성된 SQL 쿼리를 편집하는 것이 맥락 의존적 교차 도메인 텍스트-투-SQL 생성을 처음부터 생성하는 것보다 개선점을 가져오는가?
• RQ2 Co-attention이 있는 utterance-table 인코더와 테이블 인식 디코더가 도메인 간 다양한 스키마를 더 잘 처리하는가?
• RQ3 쿼리 편집 메커니즘이 다중 턴 상호작용에서 오류 전파에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 BERT 기반 utterance-table 임베딩을 사용하는 것이 교차 도메인 텍스트-투-SQL 성능에 어떤 영향을 미치는가?
• RQ5 제안된 구성요소들이 SParC와 Spider 데이터셋에서 질문 매치와 상호작용 매치 지표 측면에서 어떤 성능을 보이는가?

주요 결과

• 편집 기반 생성을 통해 scratch에서 SQL을 생성하는 최첨단 baselines 대비 SParC에서 상호작용 관련 지표에서 의미 있는 성능 향상을 얻었다.
• utterance-table 임베딩(특히 BERT 사용 시)이 교차 도메인 성능을 크게 향상시켜 Spider에서 강한 결과를, SParC에서 substantial gains를 이끌어냈다.
• 쿼리 편집 메커니즘은 전체 세그먼트 복사보다 오류 전파에 더 강건하며, 특히 BERT 기반 인코딩과 결합될 때 더 강건하다.
• 턴 주의 및 테이블-발화 동시 주의가 교차 도메인 스키마와 턴 간 맥락 의존성을 처리하는 데 도움을 준다.
• SParC에서 편집 + 쿼리 주의가 사용된 히스토리 예측으로 baselines보다 질문 매치 정확도와 상호작용 매치 정확도에서 우수한 성능을 보이며, gold 히스토리를 사용할 때 편집의 이득이 더 큼.
• Spider(맥락 독립)에서 utterance-table BERT 임베딩이 dev 및 test 점수를 교차 도메인 모델과 비교 가능한 수준으로 끌어올렸다.