[論文レビュー] Hybrid Ranking Network for Text-to-SQL

Qin Lyu, Kaushik Chakrabarti+4 more|arXiv (Cornell University)|Aug 11, 2020

Topic Modeling参考文献 14被引用数 50

ひとこと要約

HydraNet は BERT/RoBERTa をエンコーダとして用いた列-wise ハイブリッドランキング手法を採用し、実行誘導デコードを可能にして WikiSQL で最先端の結果を達成します。

ABSTRACT

In this paper, we study how to leverage pre-trained language models in Text-to-SQL. We argue that previous approaches under utilize the base language models by concatenating all columns together with the NL question and feeding them into the base language model in the encoding stage. We propose a neat approach called Hybrid Ranking Network (HydraNet) which breaks down the problem into column-wise ranking and decoding and finally assembles the column-wise outputs into a SQL query by straightforward rules. In this approach, the encoder is given a NL question and one individual column, which perfectly aligns with the original tasks BERT/RoBERTa is trained on, and hence we avoid any ad-hoc pooling or additional encoding layers which are necessary in prior approaches. Experiments on the WikiSQL dataset show that the proposed approach is very effective, achieving the top place on the leaderboard.

研究の動機と目的

• Text-to-SQL に対する事前学習済み言語モデルのより良い活用を動機づける。
• 基盤言語モデルの訓練目的と整合する列ごとエンコーダ-デコーダアーキテクチャを提案する。
• SQL 句の構成要素のための列ランキング機構とマルチタスク目的を導入する。
• 実行誘導デコードを適用して実行可能な SQL を保証し、無効な予測を軽減する。
• WikiSQL で最先端の性能を示し、アプローチの構成要素を分析する。

提案手法

• 入力を NL 質問と個別の表列（列-question ペア）として形成し、BERT/RoBERTa の訓練に合わせる。
• SQL をグローバルオブジェクトの集合（select_num, where_num）と列に関連するオブジェクト（agg, operator, value spans）として表現し、それらをマルチタスク予測としてモデル化する。
• 3つの列ランキングタスクを実行する：SELECT-column ランキング、WHERE-column ランキング、および全体的な関連性ランキング（SELECT/WHERE/RELEVANCE）。
• 列-question ペア上でタスク固有の分類器と値の QA 風の開始/終了予測を用いて Transformer エンコーダ（BERT/RoBERTa）をファインチューニングする。
• 上位ランクの列と予測された演算子/値を用いた単純なルールで最終 SQL を組み立て、データベースと照合して結果を検証・調整する実行誘導デコード（EG）ループを用いる。
• 入力表現は列ごとのテキストを用い： (column type, table name, column name) を連結し NL 質問とペアにする。

実験結果

リサーチクエスチョン

• RQ1 WikiSQL における Text-to-SQL で、列ごとにエンコードし事前学習言語モデルとペアにした方法は、全表エンコードと比べて性能を上回れるか？
• RQ2 ハイブリッドランキング手法（SELECT/WHERE/RELEVANCE）が、列集約法と比較して列選択と SQL の正確性を改善するか？
• RQ3 実行誘導デコードは、実行時データベース結果との検証を通じて頑健性と精度を向上させるか？

主な発見

モデル	ベースモデル	Dev (LF, 実行)	Test (LF, 実行)
SQLova	BERT-Large-Uncased	81.6, 87.2	80.7, 86.2
X-SQL	MT-DNN	83.8, 89.5	83.3, 88.7
HydraNet	BERT-Large-Uncased	83.5, 88.9	83.4, 88.6
HydraNet	RoBERTa-Large	83.6, 89.1	83.8, 89.2
SQLova + EG	BERT-Large-Uncased	84.2, 90.2	83.6, 89.6
X-SQL + EG	MT-DNN	86.2, 92.3	86.0, 91.8
HydraNet + EG	BERT-Large-Uncased	86.6, 92.2	86.2, 91.8
HydraNet + EG	RoBERTa-Large	86.6, 92.4	86.5, 92.2

• HydraNet の変種は論理形式と実行指標で WikiSQL の開発セット/テストセットで最高性能を達成する。
• RoBERTa-Large 使用時、HydraNet はテストセットで LF 精度 83.8% および実行精度 89.2%（EGなし）、および EG ありで 86.5% LF および 92.2% の実行精度を達成。
• HydraNet + EG は RoBERTa-Large を用いた報告された構成の中で最も強いテスト結果を示す：86.5% LF および 92.2% 実行精度。
• SQLova および X-SQL のベースラインと比較して、HydraNet（特に EG 使用時）は WikiSQL で LF および実行指標の両方を一貫して改善する。
• 列-question ペアリングと単純なデコーダ、および実行誘導デコードは、全列入力を使用しより複雑なプーリング/デコードを用いるモデルと同等またはそれを上回ることができる。