[論文レビュー] GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing

Tao Yu, Chien-Sheng Wu+7 more|arXiv (Cornell University)|Sep 29, 2020

Topic Modeling参考文献 55被引用数 59

ひとこと要約

GraPPa は 文法拡張の合成データを用いた言語モデルをテキスト→SQL用に事前訓練し、完全監視および弱監視設定の両方で4つの表意味解析ベンチマークにおいて最先端の結果を達成します。

ABSTRACT

We present GraPPa, an effective pre-training approach for table semantic parsing that learns a compositional inductive bias in the joint representations of textual and tabular data. We construct synthetic question-SQL pairs over high-quality tables via a synchronous context-free grammar (SCFG) induced from existing text-to-SQL datasets. We pre-train our model on the synthetic data using a novel text-schema linking objective that predicts the syntactic role of a table field in the SQL for each question-SQL pair. To maintain the model's ability to represent real-world data, we also include masked language modeling (MLM) over several existing table-and-language datasets to regularize the pre-training process. On four popular fully supervised and weakly supervised table semantic parsing benchmarks, GraPPa significantly outperforms RoBERTa-large as the feature representation layers and establishes new state-of-the-art results on all of them.

研究の動機と目的

• NLクエリを表形式スキーマに基づかせることで、表意味解析の一般化性能の向上を動機づける。
• 文法誘導データ合成を通じて、言語モデルに組成的な帰納的バイアスを注入する。
• 合成データと表関連のMLM正則化を組み合わせることで、実世界データにおけるモデル容量を維持する。
• 複数のベンチマークで強力な下流性能を発現するデータ効率の良い事前訓練を示す。

提案手法

• テキスト-to-SQLデータセットから同期文脈自由文法（SCFG）を誘導し、テーブルに grounding された合成問合せ-SQLペアを生成する。
• SCFGからサンプリングして、WikiTablesおよび Spider/WikiSQLテーブルを用いて大規模な合成データセット（475k例）を作成する。
• RoBERTaベースのモデル（GraPPa）を、表言語データでのMLMと列方向のSQL groundingを行うSQL意味予測（SSP）の2つの目的で事前訓練する。
• 下流のパーサー（例：RAT-SQL）上でGrappaをファインチューニングし、クロスドメインの表意味解析性能を評価する。
• テーブル関連の発話に対してMLMを適用して事前訓練を正則化し、合成データと実データのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 GrappaはRoBERTaベースのベースラインと比較して、クロスドメインの表意味解析に対してより良い表現を提供しますか？
• RQ2 二つの事前訓練目的（MLMとSSP）とそれらの組み合わせが下流性能に与える影響は何か？
• RQ3 文法拡張前訓練は、完全監視と弱監視の設定を通じて、未見のテーブルへどれだけ一般化するか？

主な発見

• Grappaは4つの意味解析タスクを通じて一貫してRoBERTaベースラインを上回る。
• Spider: MLM+SSPを用いたGrappaは新たな最先端を達成し、従来のベストを約4%上回る。
• WikiSQL完全監督: Grappaは低リソース（10k）設定下でSQLovaを3.0%改善。
• WikiTableQuestions: MLM+SSPを用いるGrappaは新しい最先端を達成し、RoBERTaベースラインより6%以上の向上。
• 弱監督WikiSQL: MLM+SSPを用いるGrappaは実行精度84.7%を達成し、新しい最先端。
• タスクを跨いで、MLM+SSPの組み合わせは通常、MLM単独やSSP単独を上回り、バランスの取れた事前訓練の重要性を強調する。