[논문 리뷰] RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers

Bailin Wang, Richard Shin외 3명|arXiv (Cornell University)|2019. 11. 10.

Natural Language Processing Techniques인용 수 72

한 줄 요약

RAT-SQL은 관계 인식 self-attention을 도입하여 질문과 데이터베이스 스키마를 함께 인코딩하고 연결하여 Text-to-SQL 파싱을 수행하며 Spider에서 최첨단 결과를 달성했고(정확일치 57.2%), BERT로 65.6%를 달성했다.

ABSTRACT

When translating natural language questions into SQL queries to answer questions from a database, contemporary semantic parsing models struggle to generalize to unseen database schemas. The generalization challenge lies in (a) encoding the database relations in an accessible way for the semantic parser, and (b) modeling alignment between database columns and their mentions in a given query. We present a unified framework, based on the relation-aware self-attention mechanism, to address schema encoding, schema linking, and feature representation within a text-to-SQL encoder. On the challenging Spider dataset this framework boosts the exact match accuracy to 57.2%, surpassing its best counterparts by 8.7% absolute improvement. Further augmented with BERT, it achieves the new state-of-the-art performance of 65.6% on the Spider leaderboard. In addition, we observe qualitative improvements in the model's understanding of schema linking and alignment. Our implementation will be open-sourced at https://github.com/Microsoft/rat-sql.

연구 동기 및 목표

• Text-to-SQL 파싱에서 보지 못한 데이터베이스 스키마에 대한 견고한 일반화를 촉진한다.
• 스키마 관계와 질문 맥락을 통합하는 통합 인코딩 프레임워크를 개발한다.
• 미리 정의된 스키마 관계와 질문-스키마 상호 작용을 모두 모델링하여 효과적인 스키마 연결을 가능하게 한다.
• Spider 데이터셋에서의 개선을 입증하고 주요 요인을 식별하기 위한 ablation을 분석한다.

제안 방법

• 단일 입력 그래프 내에서 스키마, 테이블, 질문 단어를 함께 인코딩하기 위해 관계 인식 self-attention을 제안한다.
• 데이터베이스 스키마를 외래키 및 테이블/컬럼 관계를 포착하는 라벨이 붙은 간선이 있는 방향 그래프로 표현한다.
• 사전 정의된 관계 특징 r_{ij}^K와 r_{ij}^V로 트랜스포머 어텐션을 보강하여 스키마 관계를 향해 어텐션의 바이어스를 주입한다.
• 질문 토큰을 스키마 컬럼/테이블과 정렬하기 위해 이름 기반 및 값 기반의 스키마 연결을 도입한다.
• 디코더 안내를 위한 질문-스키마 정렬을 명시적으로 포착하기 위해 memory-alignment 행렬 L_col 및 L_tab를 계산한다.
• 맥락에 따라 문법 규칙을 확장하고 컬럼/테이블을 선택하여 SQL을 생성하기 위해 트리 구조의 디코더를 사용한다.

실험 결과

연구 질문

• RQ1 관계 인식 어텐션이 보지 못한 데이터베이스에 대한 관계형 스키마 정보를 어떻게 더 잘 인코딩할 수 있는가?
• RQ2 명시적 스키마 연결(이름 기반 및 값 기반)이 질문과 스키마 요소 간의 정렬을 향상시킬 수 있는가?
• RQ3 미리 정의된 스키마 관계와 소프트하게 학습된 관계를 결합하는 것이 파싱 정확도에 어떤 영향을 미치는가?
• RQ4 RAT-SQL은 Spider와 WikiSQL에서 어떤 성능을 보이며, BERT 보강이 결과에 어떤 영향을 미치는가?

주요 결과

• RAT-SQL은 Spider 테스트 세트에서 57.2% 정확일치(exact-match)를 달성하여 비-BERT 베이스라인보다 절대적으로 8.7% 포인트 앞선다.
• RAT-SQL은 BERT를 적용하면 Spider 테스트에서 65.6% 정확일치를 달성하여 당시 BERT-증강 모델의 새로운 최고치를 설정했다.
• 개발 데이터에서 RAT-SQL은 62.7%(dev) 및 57.2%(test)이며, BERT를 사용하면 69.7%(dev) 및 65.6%(test).
• Ablation 연구는 스키마 연결 또는 그래프 관계를 제거하면 정확도가 크게 감소함을 보여준다(예: w/o schema linking 40.37% 및 w/o graph relations 35.59% on dev).
• Oracle 실험은 올바른 컬럼/테이블 또는 AST 스케치를 제공하면 정확도가 거의 완벽에 가까운 수준에 도달할 수 있음을 시사한다(두 가지를 모두 오라클 스케치와 오라클 컬럼으로 제공하면 99.4%).
• 값 기반 연결은 성능을 크게 향상시킨다(값 기반 연결로 dev에서 60.54% vs 없이 55.13%).