[論文レビュー] GP: Context-free Grammar Pre-training for Text-to-SQL Parsers

Liang Zhao, Hexin Cao+1 more|arXiv (Cornell University)|Jan 25, 2021

Topic Modeling参考文献 27被引用数 11

ひとこと要約

本稿では、自然言語の質問とSQL構文の間の整合性を向上させるために、コンテキストフリー文法に基づく事前学習手法である文法的事前学習（GP）を提案する。この手法は、エンコーダーとは独立してデコーダーを事前学習することで、文法に配慮した目的関数を用い、訓練の安定性と収束速度を向上させる。さらに、フラッディング損失と値シリアル化を統合することで、平均訓練損失を78.9%削減し、分散をベースラインの0.8%まで低減。Spiderデータセットでは開発セットで72.8%、テストセットで69.8%の精度を達成し、収束が速く、より高いロバスト性を示す。

ABSTRACT

A new method for Text-to-SQL parsing, Grammar Pre-training (GP), is proposed to decode deep relations between question and database. Firstly, to better utilize the information of databases, a random value is added behind a question word which is recognized as a column, and the new sentence serves as the model input. Secondly, initialization of vectors for decoder part is optimized, with reference to the former encoding so that question information can be concerned. Finally, a new approach called flooding level is adopted to get the non-zero training loss which can generalize better results. By encoding the sentence with GRAPPA and RAT-SQL model, we achieve better performance on spider, a cross-DB Text-to-SQL dataset (72.8 dev, 69.8 test). Experiments show that our method is easier to converge during training and has excellent robustness.

研究の動機と目的

• クロスドメインのText-to-SQLパーサーにおいて、自然言語の質問と複雑なSQL文法との間の整合性をモデル化する課題に対処すること。
• エンドツーエンドのText-to-SQLモデルにおける訓練の安定性と収束速度を向上させること。
• エンコーダーの表現に依存しないようにデコーダーを独立して事前学習することで、依存性を低減すること。
• フラッディングレベルの正則化を通じて、訓練損失の分散を低減し、ロバスト性を向上させること。
• スキーマ入力を値マッチングのシリアル化で拡張することで、一般化性能を向上させ、SQL構文エラーを削減すること。

提案手法

• エンコーダーとは独立して、文脈フリー文法の目的関数を用いてデコーダーを事前学習することで、エンコーダー依存の表現からデコーダーを分離する。
• 最適化中に局所的最小値を避けるために、フラッディングレベルに基づく新しい損失関数を適用する。
• 質問内の該当する値を、その対応するカラムの直後に入力シーケンスに追加することで、スキーマエンコーディングを強化する。
• 文字列マッチングを用いて、質問とデータベースカラム間の正確な値マッチングを特定し、カラム認識を向上させる。
• 事前学習済みデコーダーをRAT-SQLおよび${\bf G{\tiny RAPPA}}$フレームワークに統合し、Spiderデータセットにおける性能を向上させる。
• ${\bf G{\tiny RAPPA}}$内では、マスク言語モデリング（MLM）とテキスト-スキーマリンク目的関数を併用し、テキスト的および表形式のデータを統合的に表現する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーとは独立してデコーダーを事前学習することで、Text-to-SQLモデルの訓練効率とロバスト性が向上するか？
• RQ2 フラッディングレベル正則化は、Text-to-SQL訓練における収束と損失安定性にどのように影響するか？
• RQ3 値シリアル化は、複数テーブルを含む複雑なクエリにおいて、カラムおよびテーブルの識別にどの程度寄与するか？
• RQ4 文法に配慮した事前学習は、生成されたSQL文における構文エラーを低減するか？
• RQ5 本稿で提案するGP手法は、Spiderのようなクロスドメインベンチマークにおいて、既存の事前学習ベースラインと比較して、性能と分散の点で優れているか？

主な発見

• 提案されたGP手法は、GPを適用しないベースラインモデルと比較して、平均訓練損失を78.9%削減した。
• 訓練損失の分散は、ベースラインモデルの0.8%まで低減され、最適化が著しく滑らかになったことが示された。
• モデルはSpiderデータセットで開発セットで72.8%、テストセットで69.8%の精度を達成し、ベースラインのRAT-SQL+${\bf G{\tiny RAPPA}}$を上回った。
• GPを適用した最終モデルは、ロバスト性が向上しており、開発セットとテストセットの性能差がベースラインよりも著しく小さくなった。
• フラッディング、値シリアル化、GPの組み合わせは、オフラインで開発セットで73.1%の最高性能を達成した。
• この手法はハイパーパrameter、特に$b$と$lr$に敏感であり、一部の組み合わせでは勾配爆発を引き起こす可能性がある。