[論文レビュー] RAT-SQL: Relation-Aware Schema Encoding and Linking for Text-to-SQL Parsers

Bailin Wang, Richard Shin+3 more|arXiv (Cornell University)|Nov 10, 2019

Natural Language Processing Techniques被引用数 72

ひとこと要約

RAT-SQLは関係性を意識した自己注意を導入し、質問とデータベーススキーマを共同でエンコード・リンクしてText-to-SQL解析を行い、Spiderで最先端のresultsを達成（57.2% exact match）とBERT併用で65.6%。

ABSTRACT

When translating natural language questions into SQL queries to answer\nquestions from a database, contemporary semantic parsing models struggle to\ngeneralize to unseen database schemas. The generalization challenge lies in (a)\nencoding the database relations in an accessible way for the semantic parser,\nand (b) modeling alignment between database columns and their mentions in a\ngiven query. We present a unified framework, based on the relation-aware\nself-attention mechanism, to address schema encoding, schema linking, and\nfeature representation within a text-to-SQL encoder. On the challenging Spider\ndataset this framework boosts the exact match accuracy to 57.2%, surpassing its\nbest counterparts by 8.7% absolute improvement. Further augmented with BERT, it\nachieves the new state-of-the-art performance of 65.6% on the Spider\nleaderboard. In addition, we observe qualitative improvements in the model's\nunderstanding of schema linking and alignment. Our implementation will be\nopen-sourced at https://github.com/Microsoft/rat-sql.\n

研究の動機と目的

• 未見データベーススキーマに対するテキスト-to-SQL解析の堅牢な一般化を動機づける。
• スキーマの関係と質問文脈を統合する統一的なエンコーディングフレームワークを開発する。
• 事前定義されたスキーマ関係と質問–スキーマの相互作用の両方をモデル化して、効果的なスキーマリンクを実現する。
• Spiderデータセットでの改善を示し、アブレーションを分析して重要な要因を特定する。

提案手法

• 単一の入力グラフ内で、スキーマ、テーブル、質問語を共同でエンコードする関係認識型自己注意を提案する。
• データベーススキーマを、外部キーおよびテーブル/列関係を表すラベル付き辺を持つ有向グラフとして表現する。
• 事前定義された関係特徴 r_{ij}^K および r_{ij}^V を用いて Transformer の注意機構を拡張し、スキーマ関係に注意を偏らせる。
• 質問トークンをスキーマの列/テーブルに整列させるため、名前ベースおよび値ベースのスキーマリンクを導入する。
• デコーダーの指針のため、質問とスキーマの整合性を明示的に捉える memory-alignment 行列 L_col と L_tab を計算する。
• コンテキストに基づいて文法規則を展開し、列/テーブルを選択して SQL を生成する木構造デコーダを使用する。

実験結果

リサーチクエスチョン

• RQ1 未知のデータベースに対する関係認識型注意は、リレーショナルスキーマ情報のエンコードをどのように改善できるか？
• RQ2 名前ベースおよび値ベースの明示的なスキーマリンクは、質問とスキーマ要素の整合を改善できるか？
• RQ3 事前定義されたスキーマ関係とソフトで学習された関係を組み合わせることが、解析精度に与える影響はどのようか？
• RQ4 RAT-SQLはSpiderとWikiSQLでどのように性能を示し、BERT強化は結果にどのように影響するか？

主な発見

モデル	Dev (%)	Test (%)
IRNet (Guo et al., 2019)	53.2	46.7
Global-GNN (Bogin et al., 2019b)	52.7	47.4
IRNet V2 Guo et al. (2019)	55.4	48.5
RAT-SQL (ours)	62.7	57.2
RAT-SQL + BERT (ours)	69.7	65.6

• RAT-SQLはSpiderテストセットで57.2%の正確一致を達成し、非-BERTベースラインを絶対値で8.7%上回る。
• RAT-SQLはBERTを用いた場合、Spiderテストで65.6%の正確一致を達成し、その時点でBERT強化モデルの新しい最先端を設定。
• 開発データではRAT-SQLが62.7% (dev) と57.2% (test) を達成。BERT併用で69.7% (dev) と65.6% (test)。
• アブレーションにより、スキーマリンクの削除やグラフ関係の削除が精度を著しく低下させることが示される（例：devで w/o schema linking 40.37%、w/o graph relations 35.59%）。
• Oracle実験では、正しい列/テーブルまたはASTスケッチが提供されれば、精度はほぼ完璧レベルに達する可能性がある（OracleスケッチとOracle列の両方で99.4%）。
• 値ベースのリンクは性能を大幅に向上させる（値ベースリンク時は devで60.54%、なしの場合は55.13%）。