[論文レビュー] SeqGenSQL -- A Robust Sequence Generation Model for Structured Query Language

Ning Li, Bethany Keller+2 more|arXiv (Cornell University)|Nov 7, 2020

Natural Language Processing Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、T5を微調整して直接自然言語からSQLに変換するための、頑健なシーケンス・ツー・シーケンスモデルであるSeqGenSQLを提案する。ポインタジェネレータデコードとテーブルスキーマを含む質問データを組み合わせることで、WikiSQLで90.5%の実行精度を達成し、弱教師付きテキストtoSQL分野で新たな最先端性能を樹立した。前人研究比で6.6%の絶対的向上を達成した。

ABSTRACT

We explore using T5 (Raffel et al. (2019)) to directly translate natural language questions into SQL statements. General purpose natural language that interfaces to information stored within databases requires flexibly translating natural language questions into database queries. The best performing text-to-SQL systems approach this task by first converting questions into an intermediate logical form (LF) (Lyu et al. (2020)). While LFs provide a convenient intermediate representation and simplify query generation, they introduce an additional layer of complexity and annotation requirements. However, weakly supervised modeling that directly converts questions to SQL statements has proven more difficult without the scaffolding provided by LFs (Min et al. (2019)). We approach direct conversion of questions to SQL statements using T5 (Raffel et al. (2019)), a pre-trained textto-text generation model, modified to support pointer-generator style decoding (See et al. (2017)). We explore using question augmentation with table schema information and the use of automatically generated silver training data. The resulting model achieves 90.5% execution accuracy on the WikiSQL (Zhong et al. (2017)) test data set, a new state-of-the-art on weakly supervised SQL generation. The performance improvement is 6.6% absolute over the prior state-of-the-art (Min et al. (2019)) and approaches the performance of state-ofthe-art systems making use of LFs.

研究の動機と目的

• 中間論理形式に依存せずに、直接的で弱教師付きのテキストtoSQL生成アプローチの開発。
• 事前学習済みシーケンス・ツー・シーケンスモデルを用いて、テキストtoSQL翻訳の実行精度を向上させること。
• スキーマを含む質問データとシルバー学習データを活用することで、高価な論理形式のアノテーションに依存するのを減らすこと。
• 弱教師付きテキストtoSQL生成分野で最先端のパフォーマンスを達成すること。
• 直接生成が中間論理形式を用いるシステムに近い性能に達することを示すこと。

提案手法

• 自然言語の質問と対応するSQLクエリを用いて、T5モデルをエンド・ツー・エンドのテキストtoSQL生成用に微調整する。
• SQLにおけるOOV（語彙外）トークンの処理を改善するため、ポインタジェネレータ方式のデコードをT5に適用する。
• モデルの文脈認識能力を向上させるために、訓練用質問に関連するテーブルスキーマ情報を追加する。
• モデル蒸留を用いてシルバー学習データを生成し、学習データのスケールと多様性を拡大する。
• 共有アテンション機構を備えたシーケンス・ツー・シーケンスアーキテクチャを採用し、堅牢な生成を実現する。
• データ拡張とスキーマインジェクションを適用することで、一般化性能を向上させ、アノテーション依存性を低減する。

実験結果

リサーチクエスチョン

• RQ1 中間論理形式を必要としない弱教師付きエンド・ツー・エンドのシーケンス・ツー・シーケンスモデルは、テキストtoSQL生成において高い実行精度を達成できるか？
• RQ2 質問エンコーディングにテーブルスキーマ情報を組み込むと、モデルのパフォーマンスにどのような影響を与えるか？
• RQ3 シルバー学習データは、モデルの一般化性能と実行精度をどの程度向上できるか？
• RQ4 標準的な自己回帰的デコードと比較して、ポインタジェネレータデコードはSQL生成におけるOOV問題をどの程度軽減できるか？
• RQ5 中間論理形式を用いる最先端システムと比較して、直接生成アプローチの実行精度はどの程度か？

主な発見

• SeqGenSQLはWikiSQLのテストセットで90.5%の実行精度を達成し、弱教師付きテキストtoSQLモデル分野で新たな最先端性能を樹立した。
• 本研究は、類似した弱教師付き設定を用いた前人研究（Min et al., 2019）比で6.6パーセンテージポイントの実行精度向上を達成した。
• スキーマを含む質問データとシルバー学習データの使用は、モデルの一般化性能と頑健性を顕著に向上させた。
• ポインタジェネレータデコードは、SQL生成におけるOOVトークンの誤りを効果的に低減し、出力の整合性を向上させた。
• SeqGenSQLのパフォーマンスは、中間論理形式を用いる最先端システムに近く、直接生成の有効性を示した。
• 未観測のデータベーススキーマに対しても強力な一般化性能を示しており、分布シフトに対して頑健であることがわかった。