[논문 리뷰] Improving Text-to-SQL with Schema Dependency Learning

Binyuan Hui, Xiang Shi외 5명|arXiv (Cornell University)|2021. 03. 07.

Topic Modeling참고 문헌 36인용 수 24

한 줄 요약

SDSQL은 실행 가이던스 디코딩에 과도하게 의존하지 않도록 스키마 의존 학습을 도입하여 Text-to-SQL을 안내하며 WikiSQL에서 최첨단 성능을 달성하고 EG 없이도 추론 속도가 더 빠릅니다.

ABSTRACT

Text-to-SQL aims to map natural language questions to SQL queries. The sketch-based method combined with execution-guided (EG) decoding strategy has shown a strong performance on the WikiSQL benchmark. However, execution-guided decoding relies on database execution, which significantly slows down the inference process and is hence unsatisfactory for many real-world applications. In this paper, we present the Schema Dependency guided multi-task Text-to-SQL model (SDSQL) to guide the network to effectively capture the interactions between questions and schemas. The proposed model outperforms all existing methods in both the settings with or without EG. We show the schema dependency learning partially cover the benefit from EG and alleviates the need for it. SDSQL without EG significantly reduces time consumption during inference, sacrificing only a small amount of performance and provides more flexibility for downstream applications.

연구 동기 및 목표

• 스키마-질문 상호 작용을 활용하면서 실행 가이던스 디코딩에 대한 의존도를 줄여 Text-to-SQL의 개선을 촉진한다.
• 스키마 의존성과 SQL 예측을 함께 학습하는 다중 과제 SDSQL 모델을 제안한다.
• 스키마 의존 학습이 WikiSQL에서 기존의 스케치 기반 방법들보다 성능을 향상시킨다는 것을 보인다.
• EG 없이 추론 시간이 감소함을 입증하고 소거 연구를 통해 구성 요소의 기여를 분석한다.

제안 방법

• 질의와 스키마 헤더를 BERT와 Bi-LSTM으로 인코딩하여 표현 벡터를 얻는다.
• 선정된 라벨(S-Col, S-Agg, W-Col, W-Op, W-Val)을 사용한 스키마 의존 학습 과 task를 구성하고, 질문-스키마 간의 엣지와 라벨을 모델링하기 위해 biaffine 기반 예측기를 학습한다.
• 서브 모듈에서 SQL 구성요소를 예측하기 위해 스케치 기반 SQL 예측 모듈을 사용한다.
• 학습 가능한 불확실도 σ1, σ2를 갖는 적응형 다중 작업 손실을 채택하여 스키마 의존성과 SQL 예측을 공동 최적화한다.
• WikiSQL에서 실험을 수행하고 LF/EX 지표를 EG 디코딩 여부를 가진 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 텍스트-투-SQL에서 질문과 스키마 간의 상호 작용 모델링에 스키마 의존 학습이 어떤 영향을 미치는가?
• RQ2 EG 디코딩을 사용하지 않고도 SDSQL이 WikiSQL에서 경쟁력 있거나 더 우수한 성능을 달성할 수 있는가?
• RQ3 스키마 의존 작업과 적응형 다중 작업 손실이 전체 성능에 미치는 영향은 무엇인가?
• RQ4 EG를 사용하지 않을 때 추론 시간이 얼마나 절감되며, 정확도와의 트레이드 오프는 어떠한가?
• RQ5 어떤 서브 모듈(W-Col, W-Val 등)이 스키마 의존 학습의 가장 큰 이점을 얻는가?

주요 결과

모델	LF 개발	EX 개발	LF 테스트	EX 테스트
Seq2SQL	49.5	60.8	48.3	59.4
SQLNet	63.2	69.8	61.3	68.0
TypeSQL	68.0	74.5	66.7	73.5
RATSQL	73.6	82.0	75.4	81.4
SQLova	81.6	87.2	80.7	86.2
X-SQL	83.8	89.5	83.3	88.7
HydraNet	83.6	89.1	83.8	89.2
IESQL	81.1	86.5	81.1	86.5
SDSQL	86.0	91.8	85.6	91.4

• SDSQL은 개발 및 테스트 세트 모두에서 EG 없이 WikiSQL의 모든 기존 모델을 능가한다.
• EG 없이 SDSQL은 나열된 모든 기본 모델보다 더 높은 LF 및 EX 점수를 달성한다.
• EG를 사용하더라도 SDSQL은 비교 방법들 중에서 여전히 최상의 보고 결과를 얻는다.
• 소거 연구는 스키마 의존 모듈이 적응형 손실 단독보다 성능 향상에 더 크게 기여한다는 것을 보여준다.
• 스키마 의존은 특히 where-column(W-Col) 및 where-value(W-Val) 예측을 개선한다.