[論文レビュー] SQLNet: Generating Structured Queries From Natural Language Without Reinforcement Learning

Xiaojun Xu, Chang Liu+1 more|arXiv (Cornell University)|Nov 13, 2017

Topic Modeling参考文献 35被引用数 303

ひとこと要約

SQLNetはseq2seq NL-to-SQLの順序依存問題をスケッチベースのシーケンス-to-setアプローチとカラムアテンションで回避し、強化学習なしでWikiSQLで最先端の結果を達成します。

ABSTRACT

Synthesizing SQL queries from natural language is a long-standing open problem and has been attracting considerable interest recently. Toward solving the problem, the de facto approach is to employ a sequence-to-sequence-style model. Such an approach will necessarily require the SQL queries to be serialized. Since the same SQL query may have multiple equivalent serializations, training a sequence-to-sequence-style model is sensitive to the choice from one of them. This phenomenon is documented as the "order-matters" problem. Existing state-of-the-art approaches rely on reinforcement learning to reward the decoder when it generates any of the equivalent serializations. However, we observe that the improvement from reinforcement learning is limited. In this paper, we propose a novel approach, i.e., SQLNet, to fundamentally solve this problem by avoiding the sequence-to-sequence structure when the order does not matter. In particular, we employ a sketch-based approach where the sketch contains a dependency graph so that one prediction can be done by taking into consideration only the previous predictions that it depends on. In addition, we propose a sequence-to-set model as well as the column attention mechanism to synthesize the query based on the sketch. By combining all these novel techniques, we show that SQLNet can outperform the prior art by 9% to 13% on the WikiSQL task.

研究の動機と目的

• NL2SQLのクエリ順序が決定不能となり、seq2seqモデルの性能を妨げる課題に対処する。
• 順序依存問題を回避するためのスケッチベースの生成フレームワークを提案する。
• SQL合成を改善するために、シーケンス-to-set予測とカラムアテンション機構を導入する。
• RLなしでWikiSQLデータセット上のSeq2SQLより性能を改善したことを示す。
• スケッチベースの生成が未見スキーマへ一般化できる可能性についての洞察を提供する。

提案手法

• SQLスケッチをSQL文法とスロット間の依存関係を反映して定義する。
• WHERE句を順序付きシーケンスではなく、カラムと値の制約の集合として予測する（シーケンス-to-set）。
• 特定のカラムに質問埋め込みを条件付けるカラムアテンション機構を導入する。
• カラム対応のアテンションを用いたポインタ型デコーダーを使いVALUE部分文字列を生成する。
• SELECT句の構成要素（カラムとアグリゲータ）もWHEREと同様に、単一のカラムに対して予測する。
• 集合ベースの予測向けの損失と、他の成分には標準のクロスエントロピー損失を用いて訓練する。

実験結果

リサーチクエスチョン

• RQ1 クエリ順序が任意である NL2SQLタスクにおいて、スケッチベースのシーケンス-to-setアプローチは強化学習の必要性を取り除けるか。
• RQ2 カラムアテンションはWHERE句およびSELECT句に現れるカラムを予測する精度を向上させるか。
• RQ3 WikiSQLにおけるSQLNetとSeq2SQLの論理形式、クエリ一致、実行精度を比較するとどうなるか。
• RQ4 最適化中の単語埋め込み訓練がNL2SQLの性能に与える影響はどの程度か。
• RQ5 テストスキーマが未見のテーブルから来る場合や訓練分布から引かれる場合、SQLNetの性能はどうなるか。

主な発見

• SQLNetはWikiSQLの最先端結果を達成し、テストセットでのクエリ一致と実行精度がそれぞれ61.5%と68.3%である。
• シーケンス-to-sequenceジェネレータをシーケンス-to-setアプローチに置換することで順序依存の制約を排除し、強化学習の必要性を排除する。
• カラムアテンションは平坦なシーケンス-to-setモデルに比べ約3ポイントの改善をもたらし、訓練時の埋め込み更新と組み合わせるとさらに約2ポイントを追加する。
• WHERE句予測は提案されたアーキテクチャの恩恵を最も受け、Seq2SQLに対してそのサブタスクで大幅な改善を示す。
• 全体として、SQLNetはWikiSQLの複数の指標でSeq2SQLを約9–13ポイント上回り、RLなしでのNL2SQLの新しいベースラインを確立する。