[論文レビュー] RASAT: Integrating Relational Structures into Pretrained Seq2Seq Model for Text-to-SQL

Jiexing Qi, Jingyao Tang+7 more|arXiv (Cornell University)|May 14, 2022

Semantic Web and Ontologies被引用数 12

ひとこと要約

RASAT は、スキーマリンク、従属構文解析、共参照解決などの多様な関係構造を、事前学習済み T5 モデルのエンコーダーに統合する関係認識自己注意メカニズムを提案する。これにより、事前学習済み重みを保持したまま、テキストtoSQL生成で最先端の性能を達成できる。Spider では 75.5% の実行精度、SParC では 52.6%、CoSQL では 37.4% を達成し、従来手法に比べ顕著な改善を示した。

ABSTRACT

Relational structures such as schema linking and schema encoding have been validated as a key component to qualitatively translating natural language into SQL queries. However, introducing these structural relations comes with prices: they often result in a specialized model structure, which largely prohibits using large pretrained models in text-to-SQL. To address this problem, we propose RASAT: a Transformer seq2seq architecture augmented with relation-aware self-attention that could leverage a variety of relational structures while inheriting the pretrained parameters from the T5 model effectively. Our model can incorporate almost all types of existing relations in the literature, and in addition, we propose introducing co-reference relations for the multi-turn scenario. Experimental results on three widely used text-to-SQL datasets, covering both single-turn and multi-turn scenarios, have shown that RASAT could achieve state-of-the-art results across all three benchmarks (75.5% EX on Spider, 52.6% IEX on SParC, and 37.4% IEX on CoSQL).

研究の動機と目的

• テキストtoSQLにおける大規模事前学習モデルの有効活用を妨げる特殊なモデルアーキテクチャの制限を解消すること。
• スキーマ符号化、スキーマリンク、従属構文解析、共参照解決といった多様な関係構造を、1つの拡張可能なフレームワークに統合すること。
• 標準の T5 ベースの seq2seq アーキテクチャに、関係的インダクティブバイアスを統合しつつ、事前学習パラメータを破棄せずに済ませること。
• 単一ターンおよびマルチターンのテキストtoSQLベンチマークにおける性能、特に実行精度（EX/IEX）の向上を図ること。
• 関係構造を一般向け事前学習シーケンスtoシーケンスモデル（例：T5）に効果的に統合できることが実証されること。

提案手法

• T5 エンコーダーの自己注意メカニズムに、スキーマリンク、従属構文解析、共参照関係などの関係構造に注目する関係認識モジュールを拡張する。
• すべての関係構造を、注意計算に組み込むことができる学習可能な関係埋め込みとして表現し、モデルが関連する関係的情報に動的に注目できるようにする。
• 事前学習済み T5 パラメータを保持しつつ、関係認識注意ヘッドにのみ新しいトレーニング可能なパラメータを導入することで、効率的なファインチューニングを可能にする。
• データベースコンテンツ、スキーマ構造、自然言語の句構造的依存関係を入力特徴として統合し、エンコーダー表現を豊かにする。
• 自己回帰的生成を備えた標準の T5 デコーダーを用い、Grammatical 正確性を向上させるために PICARD を後処理として適用する。
• 交差エントロピー損失を用いて、既存の T5 ファインチューニングパイプラインと互換性を保ちつつ、テキストtoSQLデータセット上でエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 スキーマリンク、従属構文解析、共参照解決といった関係構造を、標準の T5 ベースの seq2seq モデルに、その事前学習アーキテクチャを損なわずに効果的に統合できるか。
• RQ2 事前学習済み T5 モデルに関係的インダクティブバイアスを統合することで、標準的なファインチューニングに比べ、テキストtoSQLベンチマークで顕著な性能向上が達成できるか。
• RQ3 スキーマ符号化、データベースコンテンツ、従属構文、共参照といった異なる種類の関係構造が、モデル性能にそれぞれどのように寄与しているか。
• RQ4 提案手法が、単一ターン（Spider）およびマルチターン（SParC、CoSQL）のテキストtoSQLベンチマークで、実行精度において最先端の性能を達成できるか。
• RQ5 性能向上はモデルサイズに比例するか。また、T5 + PICARD などの強力なベースラインと比較して、本手法はどのように差をつけるか。

主な発見

• RASAT は Spider ベンチマークで 75.5% の実行精度を達成し、前回の最先端（SOTA）から 0.4% の絶対的向上を示した。
• SParC では IEX が 21.6% から 52.6% に上昇し、31% の絶対的向上を達成。マルチターン設定における強力な一般化性能を示した。
• CoSQL では IEX が 37.4% を達成し、前回の SOTA（8.4%）から 29% の絶対的向上を達成した。
• アブレーションスタディの結果、データベースコンテンツと従属関係が性能に顕著に寄与しており、データベースコンテンツを除いた場合、IEX が 1.9% 減少した。
• Spider において、RASAT は T5-3B + PICARD をすべての難易度レベルで上回り、エラーから超難易度のサブセットまで、EX 精度で 0.8–2.0% の向上を示した。
• 本手法は良好なスケーラビリティを示した。性能向上は特に小さな T5 モデル（例：T5-small で EX が +5.9%）で顕著であり、RASAT が関係的インダクティブバイアスを学習する能力を高めていることが示唆された。