[論文レビュー] Synthetic QA Corpora Generation with Roundtrip Consistency

Chris Alberti, Daniel Andor+3 more|arXiv (Cornell University)|Jun 12, 2019

Topic Modeling参考文献 15被引用数 12

ひとこと要約

本稿では、文脈から質問を生成し、同じ文脈から答えを抽出するという、往復一貫性フィルタリングを用いた高品質な合成質問-回答コーパスを生成する手法を提案する。元の答えと予測された答えが一致するペアのみを保持することで、一貫性を確保する。このアプローチにより、合成データでBERTベースのモデルを事前学習することで、NQでは最先端の結果が得られ、SQuAD2では人間水準に近い性能を達成した。

ABSTRACT

We introduce a novel method of generating synthetic question answering corpora by combining models of question generation and answer extraction, and by filtering the results to ensure roundtrip consistency. By pretraining on the resulting corpora we obtain significant improvements on SQuAD2 and NQ, establishing a new state-of-the-art on the latter. Our synthetic data generation models, for both question generation and answer extraction, can be fully reproduced by finetuning a publicly available BERT model on the extractive subsets of SQuAD2 and NQ. We also describe a more powerful variant that does full sequence-to-sequence pretraining for question generation, obtaining exact match and F1 at less than 0.1% and 0.4% from human performance on SQuAD2.

研究の動機と目的

• 未ラベル化されたテキストから大規模かつ高品質な合成質問-回答データセットを生成する手法の開発。
• 一貫性フィルタリング機構を用いて生成された合成データで事前学習することで、質問応答モデルの性能を向上させること。
• 高価な人手によるQAデータセットへの依存を減らすために、自己教師付きのデータ生成を活用すること。
• 往復一貫性を有する合成データが、従来の事前学習に比べて下流のQAベンチマークで優れた性能を示すかどうかを調査すること。

提案手法

• まず、事前学習済みの答え抽出モデル p(a|c;θA) を用いて、文脈 C から答え A を抽出する。
• 次に、文脈 C と答え A を用いて、質問生成モデル p(q|c,a;θQ) により質問 Q を生成する。
• その後、文脈 C と質問 Q を用いて、質問応答モデル p(a|c,q;θA′) により答え A′ を予測する。
• 元の答え A と予測された答え A′ が一致するペアのみを保持し、往復一貫性を確保する。
• 得られた合成データを用いてQAモデルを事前学習し、その後、SQuAD2 や NQ などの人手によるアノテーション済みデータセットで微調整する。
• 2つのバリエーションを検討した：1つはすべてのモジュールに微調整済みBERTを用いるもの、もう1つは質問生成に完全なシーケンス・ツー・シーケンスの事前学習を用いるもの。

実験結果

リサーチクエスチョン

• RQ1 往復一貫性フィルタリングを用いて生成された合成QAペアは、下流のQA性能を向上させることができるか？
• RQ2 フィルタリングなしの合成データと比較して、往復一貫性フィルタリングはモデル性能にどのように影響するか？
• RQ3 あるQAデータセット（例：SQuAD2）から生成された合成データが、別のデータセット（例：NQ）での性能向上にどの程度寄与するか？
• RQ4 合成データ生成により、SQuAD2におけるモデル性能は人間水準にどの程度近づけるか？
• RQ5 質問生成に完全なシーケンス・ツー・シーケンスの事前学習を用いることで、BERTの微調整に比べてより良い結果が得られるか？

主な発見

• 往復一貫性フィルタリングによりフィルタリングされた合成データで事前学習を実施したところ、SQuAD2およびNQの両方で性能が向上した。特にNQでは、人間水準への到達の余地（headroom）が顕著に削減された。
• NQの短い答えタスクでは、人間水準への相対的余地が50%削減され、人間アンサンブル水準への相対的余地も10%削減された。
• アンサンブルを用いた完全事前学習アプローチにより、SQuAD2では正確一致（exact match）が人間水準と0.1%以内、F1スコアが0.4%以内の差に収まった。
• 往復一貫性フィルタリングは一貫してモデル性能を向上させた。手動での検査では、フィルタリングに合格した例のうち39%が正しく、除外された例のうち16%しか正しくないことが判明した。
• 合成SQuAD2とNQデータの結合を用いた事前学習により、SQuAD2での性能が著しく向上したが、NQでは結果に改善が見られなかった。
• この合成データ生成パイプラインは、SQuAD2およびNQの抽出的サブセットに対して、公開済みのBERTモデルを微調整することで完全に再現可能である。