[論文レビュー] Improving Text-to-SQL with Schema Dependency Learning

Binyuan Hui, Xiang Shi+5 more|arXiv (Cornell University)|Mar 7, 2021

Topic Modeling参考文献 36被引用数 24

ひとこと要約

SDSQLは実行ガイドデコードへの過度な依存を避けつつ、スキーマ依存性学習を用いてText-to-SQLを導く手法を導入し、WikiSQLで最先端の結果を達成するとともに、EGなしで推論を高速化します。

ABSTRACT

Text-to-SQL aims to map natural language questions to SQL queries. The sketch-based method combined with execution-guided (EG) decoding strategy has shown a strong performance on the WikiSQL benchmark. However, execution-guided decoding relies on database execution, which significantly slows down the inference process and is hence unsatisfactory for many real-world applications. In this paper, we present the Schema Dependency guided multi-task Text-to-SQL model (SDSQL) to guide the network to effectively capture the interactions between questions and schemas. The proposed model outperforms all existing methods in both the settings with or without EG. We show the schema dependency learning partially cover the benefit from EG and alleviates the need for it. SDSQL without EG significantly reduces time consumption during inference, sacrificing only a small amount of performance and provides more flexibility for downstream applications.

研究の動機と目的

• 実行ガイド付きデコードへの依存を減らしつつ、スキーマと質問の相互作用を活用して Text-to-SQL の改善を動機づける。
• スキーマ依存性とSQL予測を共同学習するマルチタスクの SDSQL モデルを提案する。
• スキーマ依存性学習が WikiSQL における既存のスケッチベース手法を超える性能向上をもたらすことを示す。
• EG なしで推論時間を短縮できることを示し、アブレーション研究を通じて各部の寄与を分析する。

提案手法

• 質問とスキーマヘッダをBERTとBi-LSTMでエンコードし、表現を得る。
• 事前定義されたラベル（S-Col, S-Agg, W-Col, W-Op, W-Val）を用いてスキーマ依存性学習タスクを構築し、質問とスキーマのエッジとラベルをモデル化するbiaffineベースの予測器を訓練する。
• スケッチベースのSQL予測モジュールを用いてサブモジュール内のSQL要素を予測する。
• 適応的なマルチタスク損失を採用して、スキーマ依存性とSQL予測を共同に最適化する（学習可能な不確実性 σ1, σ2）。
• WikiSQL 上で実験を実施し、LF/EX 指標をEGデコードあり/なしのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 Text-to-SQL における質問とスキーマ間の相互作用モデリングに、スキーマ依存性学習はどう影響するか？
• RQ2 EGデコードを用いずにSDSQLはWikiSQLで競争力のある、あるいは優れた性能を達成できるか？
• RQ3 スキーマ依存性タスクと適応的マルチタスク損失が全体の性能に与える影響は何か？
• RQ4 EGを使わない場合、推論時間はどれくらい削減され、精度とのトレードオフはどうなるか？
• RQ5 スキーマ依存性学習の恩恵を最も受けるサブモジュールはどれか（例：W-Col, W-Val）？

主な発見

Model	LF Dev	EX Dev	LF Test	EX Test
Seq2SQL	49.5	60.8	48.3	59.4
SQLNet	63.2	69.8	61.3	68.0
TypeSQL	68.0	74.5	66.7	73.5
RATSQL	73.6	82.0	75.4	81.4
SQLova	81.6	87.2	80.7	86.2
X-SQL	83.8	89.5	83.3	88.7
HydraNet	83.6	89.1	83.8	89.2
IESQL	81.1	86.5	81.1	86.5
SDSQL	86.0	91.8	85.6	91.4

• SDSQLはWikiSQLの開発セットとテストセットの両方でEGなしに全ての既存モデルを上回る。
• EGなしで、SDSQLはLFおよびEXスコアがすべてのベースラインを上回る。
• EGを用いたSDSQLは比較した方法の中で最も良い報告結果をまだ提示する。
• アブレーション研究は、スキーマ依存性モジュールが適応的損失単独より性能向上に寄与することを示している。
• スキーマ依存性は特にwhere-column (W-Col) および where-value (W-Val) の予測を改善する。