[論文レビュー] Question Answering Infused Pre-training of General-Purpose Contextualized Representations

Robin Jia, Michael Lewis+1 more|arXiv (Cornell University)|Jun 15, 2021

Topic Modeling被引用数 9

ひとこと要約

本稿では、8000万件の合成QAペア上でクロスエンコーダーの予測をマッチさせるように訓練するバイエンコーダー・モデルを学習する、新しい事前学習目的であるQuestion Answering Infused Pre-training (QuIP) を提案する。QuIPは、複数のNLPタスクにおいてゼロショットおよびフェイントショット性能を向上させ、フェイントショットNERではRoBERTa-largeを最大14F1ポイント、ゼロショットセンチメント分析では5ポイント上回る。

ABSTRACT

We propose a pre-training objective based on question answering (QA) for learning general-purpose contextual representations, motivated by the intuition that the representation of a phrase in a passage should encode all questions that the phrase can answer in context. To this end, we train a bi-encoder QA model, which independently encodes passages and questions, to match the predictions of a more accurate cross-encoder model on 80 million synthesized QA pairs. By encoding QA-relevant information, the bi-encoder's token-level representations are useful for non-QA downstream tasks without extensive (or in some cases, any) fine-tuning. We show large improvements over both RoBERTa-large and previous state-of-the-art results on zero-shot and few-shot paraphrase detection on four datasets, few-shot named entity recognition on two datasets, and zero-shot sentiment analysis on three datasets.

研究の動機と目的

• 広く適用可能な文脈表現の有用性を、豊富な微調整を伴わずにゼロショットおよびフェイントショット学習設定で向上させること。
• マスク言語モデルの限界を是正すること。マスク言語モデルは文脈に依存しない埋め込みを最適化するが、即座に利用可能な文脈豊富な表現ではない。
• 質問・回答ペアの学習によって、多様な下流タスクに適した意味的コンテンツを含む表現が得られるかどうかを検討すること。
• より正確なクロスエンコーダーからバイエンコーダーへの知識蒸留が、強固で転移可能な表現を生み出すかどうかを調査すること。
• QAベースのプロンプトと表現が、複数のNLPタスクにわたるフェイントショット適応のための統一インターフェースとして機能できることを示すこと。

提案手法

• 大規模な本文コーパス上で訓練された質問生成モデルを用いて、8000万件の質問・回答ペアを合成する。
• 合成されたQAペア上で高精度な予測を生成するため、教師となるクロスエンコーダーQAモデルを訓練する。
• 知識蒸留を用いて、文書と質問を独立して符号化するバイエンコーダー・モデルを訓練し、クロスエンコーダーの予測を再現する。
• 文書のスパン表現とそれらが回答する質問表現の類似度を最大化するように、コントラスト損失を最適化する。
• プロンプトベースの微調整または特徴抽出により、バイエンコーダーのトークンレベル表現を下流タスクに活用する。
• センチメント分析やNERなどの下流タスクに質問プロンプトを適用し、タスク固有の微調整なしにゼロショットおよびフェイントショット適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 QAペアで事前学習することで、ゼロショットおよびフェイントショット設定ですぐに有用な文脈表現が得られるか？
• RQ2 クロスエンコーダーからバイエンコーダーへの知識蒸留は、下流タスクの文脈表現の質を向上させるか？
• RQ3 QAベースのプロンプトは、フェイントショット学習シナリオで下流モデルの初期化や誘導に効果的に機能するか？
• RQ4 QuIPは、多様なNLPタスクにおいて、RoBERTa-largeや他の最先端手法と比較して、ゼロショットおよびフェイントショット設定でどのように性能を発揮するか？
• RQ5 QuIPの成功に不可欠な要因は何か—本物の質問、強力な教師モデル、バイエンコーダー構造、または質問生成戦略のうち、どれが重要か？

主な発見

• QuIPは、BERTScoreベースの特徴を用いて、4つのデータセットで先行研究に比べて9F1ポイントのフェイントショット類似文検出性能向上を達成した。
• QuIPに質問埋め込み初期化を組み合わせることで、2つのフェイントショットNERデータセットでRoBERTa-largeを14F1ポイント上回った。
• ゼロショットセンチメント分析において、QuIPに質問プロンプトを適用した場合、MLMスタイルのプロンプトを用いたRoBERTa-largeよりも5ポイントの精度向上を達成した。
• 本手法は、センチメント予測の解釈可能な根拠（rationale）を抽出でき、モデルの透明性という副次的利点を示した。
• アブレーションスタディにより、本物の質問、強力な教師モデル、およびバイエンコーダー構造がQuIPの成功に不可欠であることが確認された。
• 質問生成のデコード戦略やその他の設計選択が、性能に質的影響を及ぼさないことが示され、本手法のロバスト性と安定性が裏付けられた。