[논문 리뷰] Hybrid Ranking Network for Text-to-SQL

Qin Lyu, Kaushik Chakrabarti외 4명|arXiv (Cornell University)|2020. 08. 11.

Topic Modeling참고 문헌 14인용 수 50

한 줄 요약

HydraNet은 BERT/RoBERTa를 인코더로 사용하는 열(column) 단위의 하이브리드 랭킹 방식으로, 실행 가이드 디코딩을 가능하게 하여 WikiSQL에서 최신 결과를 달성한다.

ABSTRACT

In this paper, we study how to leverage pre-trained language models in Text-to-SQL. We argue that previous approaches under utilize the base language models by concatenating all columns together with the NL question and feeding them into the base language model in the encoding stage. We propose a neat approach called Hybrid Ranking Network (HydraNet) which breaks down the problem into column-wise ranking and decoding and finally assembles the column-wise outputs into a SQL query by straightforward rules. In this approach, the encoder is given a NL question and one individual column, which perfectly aligns with the original tasks BERT/RoBERTa is trained on, and hence we avoid any ad-hoc pooling or additional encoding layers which are necessary in prior approaches. Experiments on the WikiSQL dataset show that the proposed approach is very effective, achieving the top place on the leaderboard.

연구 동기 및 목표

• Text-to-SQL에서 사전 학습된 언어 모델의 더 나은 활용을 촉진한다.
• 기본 LM 학습 목표와 일치하는 열-기반 인코더-디코더 아키텍처를 제안한다.
• SQL 절 구성 요소에 대한 열 순위 매커니즘과 다중 작업 목표를 도입한다.
• 실행 가능 SQL을 보장하고 잘못된 예측을 완화하기 위해 실행 가이드 디코딩을 적용한다.
• WikiSQL에서 최첨단 성능을 보여 주고 접근 방식의 구성 요소를分析한다.

제안 방법

• BERT/RoBERTa 학습과의 정렬을 위해 NL 질문과 개별 테이블 열(열-질문 쌍)을 쌍으로 형성한다.
• SQL을 전역 객체 세트(select_num, where_num)와 열-연관 객체(agg, operator, value spans)로 표현하고 다중 작업 예측으로 모델링한다.
• SELECT-column 랭킹, WHERE-column 랭킹, 그리고 전체 관련성 랭킹(SELECT/WHERE/RELEVANCE)의 세 가지 열 랭킹 작업을 수행한다.
• 열-질문 쌍에 대해 작업별 분류기와 값에 대한 QA 스타일 시작/종료 예측을 사용하여 Transformer 인코더(BERT/RoBERTa)를 미세조정한다.
• 상위 랭크 열과 예측된 연산자/값을 사용한 간단한 규칙으로 최종 SQL을 구성하고 데이터베이스와 대조하여 결과를 검증 및 조정하는 실행 가이드 디코딩(EG) 루프를 둔다.
• 입력 표현은 열별 텍스트를 사용한다: (column type, table name, column name)을 연결하고 NL 질문과 쌍으로 한다.

실험 결과

연구 질문

• RQ1 열-기반 인코딩이 사전 학습된 언어 모델과 함께 WikiSQL의 Text-to-SQL에서 전체 표 인코딩보다 더 우수하게 작동할 수 있는가?
• RQ2 하이브리드 랭킹 방식(SELECT/WHERE/RELEVANCE)이 열 선택과 SQL 정확성을 열-집계 방법과 비교하여 향상시키는가?
• RQ3 실행 가이드 디코딩이 런타임 데이터베이스 결과와의 검증을 통해 강건성과 정확성을 향상시키는가?

주요 결과

모델	기본 모델	Dev (LF, 실행)	Test (LF, 실행)
SQLova	BERT-Large-Uncased	81.6, 87.2	80.7, 86.2
X-SQL	MT-DNN	83.8, 89.5	83.3, 88.7
HydraNet	BERT-Large-Uncased	83.5, 88.9	83.4, 88.6
HydraNet	RoBERTa-Large	83.6, 89.1	83.8, 89.2
SQLova + EG	BERT-Large-Uncased	84.2, 90.2	83.6, 89.6
X-SQL + EG	MT-DNN	86.2, 92.3	86.0, 91.8
HydraNet + EG	BERT-Large-Uncased	86.6, 92.2	86.2, 91.8
HydraNet + EG	RoBERTa-Large	86.6, 92.4	86.5, 92.2

• HydraNet 변형은 논리적 형식과 실행 지표에서 WikiSQL 개발/테스트에서 최고 성능을 달성한다.
• RoBERTa-Large를 사용한 HydraNet은 테스트 세트에서 (EG 없음) 83.8% LF 정확도 및 89.2% 실행 정확도, 그리고 EG를 사용할 때 86.5% LF 및 92.2% 실행 정확도를 달성한다.
• HydraNet+EG은 RoBERTa-Large를 사용하는 구성들 중에서 가장 강력한 테스트 결과를 나타낸다: 86.5% LF 및 92.2% 실행 정확도.
• SQLova와 X-SQL 기본값과 비교할 때 HydraNet(특히 EG 포함)은 WikiSQL에서 LF와 실행 지표 모두를 일관되게 개선한다.
• 간단한 디코더와 실행 가이드 디코딩을 갖춘 열-질문 쌍 매칭은 전체 열 입력과 더 복잡한 풀링/디코딩을 사용하는 모델과 같거나 더 우수하게 작동할 수 있다.