[論文レビュー] End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems

Siamak Shakeri, Cícero Nogueira dos Santos+6 more|arXiv (Cornell University)|Oct 12, 2020

Topic Modeling参考文献 32被引用数 21

ひとこと要約

本稿では、ファインチューニングされたBARTベースのエンコーダデコーダトランスフォーマーを用いて、合成QAデータ生成のエンドツーエンドで単一モデルのアプローチを提案する。モデルは、文章からトークン単位で質問と回答を生成し、言語モデルの尤度をフィルタリングスコアとして用いる。NQ、BioASQ、NewsQA、DuoRCの各データセットにおいて、SOTAのドメイン適応性能を達成し、NQではEMが8点以上、他のデータセットでは4点以上向上を達成した。

ABSTRACT

We propose an end-to-end approach for synthetic QA data generation. Our model comprises a single transformer-based encoder-decoder network that is trained end-to-end to generate both answers and questions. In a nutshell, we feed a passage to the encoder and ask the decoder to generate a question and an answer token-by-token. The likelihood produced in the generation process is used as a filtering score, which avoids the need for a separate filtering model. Our generator is trained by fine-tuning a pretrained LM using maximum likelihood estimation. The experimental results indicate significant improvements in the domain adaptation of QA models outperforming current state-of-the-art methods.

研究の動機と目的

• エラー伝搬と高い計算コストに苦しむ、段階的な合成QAデータ生成パイプラインの限界を解消すること。
• スパン検出と質問フィルタリングの別々のモジュールを必要とせず、答えと質問生成を1つのエンドツーエンドモデルに統合すること。
• 単一のファインチューニング済みトランスフォーマーモデルを用いて高品質な合成QAペアを生成することで、QAシステムのドメイン適応を向上させること。
• 言語モデルの尤度スコアが、合成QAデータのための専用フィルタリングモデルに代わって効果的に機能するかどうかを評価すること。

提案手法

• 最大尤度推定を用いてファインチューニングされた、トランスフォーマーベースのエンコーダデコーダモデル（BART）を用い、文章を条件として答えと質問を同時に生成する。
• 3つのバリエーションを訓練：AQGen（答えを生成してから質問を生成）、QAGen（質問を生成してから答えを生成）、QAGen2S（最初に質問を生成し、その後文脈を連結した第二段階で答えを生成）。
• 生成されたシーケンスの対数尤度をフィルタリングスコアとして用い、高品質なQAペアをランク付け・選別することで、別個のフィルタリングモデルの必要性を排除する。
• ターゲットドメインの文章（例：NQ、PubMed）に対してモデルを適用し、合成QAペアを生成。その後、合成データとソースドメイン（SQuAD）データを併用して、下流のRCモデルをファインチューニングする。
• LMベースのフィルタリング、ラウンドトリップフィルタリング、およびフィルタリングなしの条件を比較し、フィルタリングの有効性を評価する。
• データセットサイズとモデル容量のアブレーションスタディを実施し、小規模および大規模なRCモデルにおけるスケーラビリティとロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 スパン検出やフィルタリングの別々のモジュールがなくとも、1つのエンドツーエンドトランスフォーマーモデルが文章から質問と答えを効果的に生成できるか？
• RQ2 言語モデルの尤度スコアが、下流のF1スコアと強く相関しており、合成QAペアのフィルタリングの代替として信頼できるものと見なせるか？
• RQ3 段階的パイプラインと比較して、エンドツーエンドの合成データ生成は、QAにおけるドメイン適応の観点から、性能と効率の面で優れているか？
• RQ4 ソースドメイン（SQuAD）から生成された合成データが、多様なターゲットドメイン（例：NQ、BioASQ、NewsQA）での性能向上にどの程度寄与するか？
• RQ5 提案手法は、小規模および大規模な事前学習言語モデル（例：BERT-base、RoBERTa-large）を、リソースが限られたドメイン適応設定で改善できるか？

主な発見

• QAGen2S（最初に質問を生成し、その後文脈を連結した第二段階で答えを生成）が最良のパフォーマンスを示し、Natural QuestionsデータセットでSQuADベースライン比EMが8.1ポイント、F1が7.3ポイント向上した。
• BioASQおよびNewsQAでは、QAGen2SがEMを4ポイント以上向上させ、多様なドメインにわたる強力な一般化能力を示した。
• LM尤度スコアが下流のF1スコアと強く相関しており、フィルタリングの代替として信頼できるが、ノイズが多く、高品質なサンプルを得るには高いしきい値が必要である。
• QAGen2Sから生成された合成データは、SQuAD開発セットでRoBERTa-largeではF1/EMがそれぞれ3.1/2.2ポイント向上、BERT-base-uncasedでは1.0/0.5ポイント向上した。
• エンドツーエンドモデルは、3段階ベースラインおよび他の生成順序（AQGen、QAGen）を上回り、第二段階での双方向的文脈の統合による共同生成の有効性を実証した。
• 合成データセットサイズが大きくなるほどパフォーマンスが向上し、特にSQuADデータを用いない場合に顕著で、リソースが限られた状況下での合成データの価値を裏付けた。