[論文レビュー] Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training

Peng Shi, Patrick Ng+6 more|arXiv (Cornell University)|Dec 18, 2020

Topic Modeling被引用数 6

ひとこと要約

本稿では、大規模言語モデルによって生成された合成データを用いて、自然言語の発話とデータベーススキーマの文脈的表現を共同で事前学習する、Generation-Augmented Pre-training (GAP) というフレームワークを提案する。3つの新規事前学習タスク—カラム予測、カラム回復、スキーマに配慮した生成—を導入することで、カラム検出、スキーマアライメント、複雑なSQLクエリの構成が著しく向上し、SpiderおよびCriteria-to-SQLベンチマークの両方で最先端の結果を達成した。

ABSTRACT

Most recently, there has been significant interest in learning contextual representations for various NLP tasks, by leveraging large scale text corpora to train large neural language models with self-supervised learning objectives, such as Masked Language Model (MLM). However, based on a pilot study, we observe three issues of existing general-purpose language models when they are applied to text-to-SQL semantic parsers: fail to detect column mentions in the utterances, fail to infer column mentions from cell values, and fail to compose complex SQL queries. To mitigate these issues, we present a model pre-training framework, Generation-Augmented Pre-training (GAP), that jointly learns representations of natural language utterances and table schemas by leveraging generation models to generate pre-train data. GAP MODEL is trained on 2M utterance-schema pairs and 30K utterance-schema-SQL triples, whose utterances are produced by generative models. Based on experimental results, neural semantic parsers that leverage GAP MODEL as a representation encoder obtain new state-of-the-art results on both SPIDER and CRITERIA-TO-SQL benchmarks.

研究の動機と目的

• テキスト対SQLパースにおける3つの主要な課題に対処する：カラムの明示的記述が見逃される、セル値からカラムを推論できない、複雑なSQLクエリの構成が困難である。
• ターゲットされた事前学習目的を通じて、事前学習済み言語モデルにおける自然言語発話とデータベーススキーマの間のアライメントを向上させる。
• 合成データと構造化された事前学習タスクを用いてドメイン固有の知識を統合することで、クロスドメイン設定におけるモデルの一般化能力を向上させる。
• 生成拡張型合成データを用いて、発話とテーブルスキーマの表現を共同で学習する事前学習フレームワークを構築する。
• 統合されたフレームワークにドメインに配慮した事前学習目的を統合することで、標準的なテキスト対SQLベンチマークで最先端のパフォーマンスを達成する。

提案手法

• 大規模言語モデルを活用して、200万件の合成された発話-スキーマペアと3万件の発話-スキーマ-SQLトリプルを生成し、事前学習データとして用いる。
• 各スキーマカラムが発話に参照されているかどうかを分類するカラム予測タスクを導入し、明示的カラム検出を向上させる。
• カラム名をそのセル値に置き換え、モデルに元のカラムを再構築させることで、スキーマ理解の暗黙的側面を強化するカラム回復タスクを設計する。
• 与えられたスキーマ要素を条件として発話を生成させるスキーマに配慮した生成タスクを開発し、共同表現学習を強化する。
• マスク言語モデルと3つの新規目的の組み合わせを用いてモデルを事前学習し、プロービング実験ではエンコーダーを固定する。
• 事前学習済みエンコーダーを用いた標準的なシーケンス・ツー・シーケンス学習により、最終モデルをダウンストリームのテキスト対SQLタスクで微調整する。

実験結果

リサーチクエスチョン

• RQ1 生成拡張型事前学習は、テキスト対SQLパースにおける明示的記述カラムの検出を向上させることができるか？
• RQ2 合成データと特化した事前学習タスクは、発話内のセル値からカラム名を推論する能力を向上させることができるか？
• RQ3 スキーマに配慮した生成による共同事前学習は、ネストされた節や複数節を含む複雑なSQLクエリの構成を向上させることができるか？
• RQ4 提案された事前学習目的は、発話-スキーマアライメントを捉える上で、標準的なマスク言語モデルをどれほど上回るか？
• RQ5 GAPフレームワークは、出ドメインおよび低リソース設定において一般化可能であり、Criteria-to-SQLのようなベンチマークでのパフォーマンスによって裏付けられるか？

主な発見

• GAPモデルはSpiderベンチマークで新たな最先端の結果を達成し、標準的な事前学習に依存する先行モデルを上回った。
• 値-カラムマッチングプロービングタスクにおいて、GAPモデル（MLM + CRec + CPred）は44.51%の精度を達成し、BARTベースライン（23.17%）を著しく上回った。
• カラム予測タスクのみを用いることで、マッチング精度が44.51%まで向上し、明示的カラム検出の向上が有効であることを示した。
• カラム回復タスク（CRec）は、値-カラムマッチングで36.78%の精度を達成し、暗黙的スキーマ理解の向上を示した。
• スキーマに配慮した生成目的の統合により、特にネストされた複雑なクエリや複数節を含むクエリ生成において、より優れた一般化と耐性が得られた。
• GAPモデルはCriteria-to-SQLベンチマークでも既存モデルを上回り、低リソースおよび出ドメイン設定でも有効であることを確認した。