[論文レビュー] IncSQL: Training Incremental Text-to-SQL Parsers with Non-Deterministic Oracles

Tianze Shi, Kedar Tatwawadi+4 more|arXiv (Cornell University)|Sep 13, 2018

Natural Language Processing Techniques参考文献 34被引用数 59

ひとこと要約

IncSQL は非決定的オラクルを用いて複数の正解 SQL 形を扱うインクリメンタルなテキスト-to-SQL パーサを訓練します。実行指向のデコードを用いると WikiSQL で実行精度が最先端を達成します。

ABSTRACT

We present a sequence-to-action parsing approach for the natural language to SQL task that incrementally fills the slots of a SQL query with feasible actions from a pre-defined inventory. To account for the fact that typically there are multiple correct SQL queries with the same or very similar semantics, we draw inspiration from syntactic parsing techniques and propose to train our sequence-to-action models with non-deterministic oracles. We evaluate our models on the WikiSQL dataset and achieve an execution accuracy of 83.7% on the test set, a 2.1% absolute improvement over the models trained with traditional static oracles assuming a single correct target SQL query. When further combined with the execution-guided decoding strategy, our model sets a new state-of-the-art performance at an execution accuracy of 87.1%.

研究の動機と目的

• NL2SQL を実用的なデータベース問合せインターフェースとして動機づけ、正しい SQL 形における意味的変動に対処する。
• アクション在庫を介して SQL のスロットを埋めるインクリメンタルな sequence-to-action パーサを提案する。
• 複数の有効なアクション列を扱うために非決定的（動的）訓練オラクルを導入する。
• 非決定的な訓練が WikiSQL での実行精度を向上させることを示す。
• 実行ガイド付きデコードの利点を示し、最先端の性能を達成する。

提案手法

• 初期状態から終端状態へSQLクエリを段階的に構築する事前定義されたアクションの在庫を定義する。
• 双線形スコアリングを用いたLSTMベースのデコーダで、実行可能集合から次のアクションを選択する。
• 文脈に敏感な語とカラムヘッダの表現を、内部および系列間のアテンションを持つ双方向LSTMエンコーダを用いて用いる。
• 複数の正しいアクション継続を許す非決定的オラクルで訓練し、異なる有効な SQL 形に対する頑健性を向上させる。
• ビーム探索中に高可能性の部分SQLを絞り込み選択するために、任意で実行ガイド付きデコードを適用する。
• 実行ガイド付きデコードの有無で WikiSQL を評価し、実行精度と論理形式精度を測定する。

実験結果

リサーチクエスチョン

• RQ1 非決定的（動的）訓練オラクルは静的オラクルと比べてインクリメンタル NL2SQL パーサの学習を改善できるか？
• RQ2 実行ガイド付きデコードは非決定的トレーニングとどのように相互作用して実行精度を高めるか？
• RQ3 WHERE 句の順序の変動性や暗黙的な列参照をインクリメンタルなアクションスロット埋めでどの程度扱えるか？
• RQ4 WikiSQL を超える他の NL2SQL データセット（例：ATIS など）にもこのアプローチは一般化できるか？

主な発見

モデル	Dev Acc_lf	Dev Acc_ex	Test Acc_lf	Test Acc_ex
Coarse2Fine (Dong & Lapata, 2018)	72.5	79.0	71.7	78.5
MQAN (McCann et al., 2018)	76.1	82.0	75.4	81.4
IncSQL (static oracle)	76.1	82.5	75.5	81.6
IncSQL (non-det. oracle, “order-matters” only)	75.4	82.2	75.1	81.8
IncSQL (non-det. oracle)	49.9	84.0	49.9	83.7
IncSQL (non-det. oracle) + EG (5)	51.3	87.2	51.1	87.1

• 非決定的オラクルは WikiSQL で静的オラクルより実行精度を 2.1 ポイント向上させる。
• ビームサイズ 5 の実行ガイド付きデコードは新しいテスト時実行精度 87.1% を達成。
• 静的オラクルの性能は従来の SOTA モデルと競合的であり、非決定的トレーニングは主に実行指標を改善する。
• ANYCOL をオラクルに許容することで暗黙的な列参照を捉えるのに役立ち、実行精度が 81.8% から 83.7% に向上した。
• ATIS では非決定的トレーニングが実行精度の向上を示し、他の NL2SQL データセットへの一般化を示唆する。