[論文レビュー] MRQA 2019 Shared Task: Evaluating Generalization in Reading Comprehension

Adam Fisch, Alon Talmor+4 more|arXiv (Cornell University)|Oct 22, 2019

Topic Modeling参考文献 35被引用数 21

ひとこと要約

本論文は、多様でドメイン外のデータセットを用いた抽出型読解モデルの一般化能力を評価するMRQA 2019共有タスクを提示する。18のQAデータセットを共通フォーマットに統一し、12のホールドアウトデータセットで評価した結果、最良のシステムは平均F1スコア72.5を達成し、BERTベースのベースラインより10.7ポイント上回った。これは、多タスク学習、 adversarial training、アンサンブルなどの手法を用いることで、ドメイン間一般化に顕著な進展が見られたことを示している。

ABSTRACT

We present the results of the Machine Reading for Question Answering (MRQA) 2019 shared task on evaluating the generalization capabilities of reading comprehension systems. In this task, we adapted and unified 18 distinct question answering datasets into the same format. Among them, six datasets were made available for training, six datasets were made available for development, and the final six were hidden for final evaluation. Ten teams submitted systems, which explored various ideas including data sampling, multi-task learning, adversarial training and ensembling. The best system achieved an average F1 score of 72.5 on the 12 held-out datasets, 10.7 absolute points higher than our initial baseline based on BERT.

研究の動機と目的

• 読解モデルが学習データとは異なるドメイン外のデータ分布に一般化できる能力を評価すること。
• 18の多様なQAデータセットを共通フォーマットに統一することで、抽出型質問応答における一般化の標準的ベンチマークを確立すること。
• 多タスク学習、 adversarial training、アンサンブルなどの技術が、ドメイン間パフォーマンスを向上させる効果を評価すること。
• ドメイン内ファインチューニング性能とドメイン外一般化性能を比較し、データ分布シフトとモデル容量に起因する制限を分離すること。
• 多様なドメインにおけるモデルの失敗と成功の理由を解明し、将来の堅牢で一般化可能なNLPシステムの研究を支援すること。

提案手法

• 質問、文脈、回答スパンを含む、18の異なる質問応答データセットを1つの抽出型QAフォーマットに統一し、一貫した評価を可能にした。
• 実際のドメイン外一般化を模倣するために、データセットを学習（6）、開発（6）、隠しテスト（6）に分割した。
• ベースラインとしてBERTベースのモデルを用い、学習データでファインチューニングし、マクロ平均F1スコアと正確一致（EM）スコアで評価した。
• 多タスク学習（NLIタスクを併用）、ドメイン識別器を用いたadversarialドメイン適応、重み付きログリット平均によるモデルアンサンブルなどの手法を適用した。
• 入力に応じて予測を動的に統合するためのmixture-of-expertsレイヤーを実装し、適応的アンサンブルによる一般化の向上を図った。
• 各テストデータセットでドメイン内ファインチューニングの実験を実施し、パフォーマンス向上の要因を評価し、データ不足かモデル一般化能力の限界かを特定した。

実験結果

リサーチクエスチョン

• RQ1 事前学習された言語モデルは、学習時に見なかったドメイン外の質問応答データセットにどの程度一般化できるか？
• RQ2 adversarial training や多タスク学習、アンサンブルなどのアーキテクチャ的・訓練手法は、ドメイン間一般化をどの程度効果的に向上させるか？
• RQ3 新しい分布からのわずかなドメイン内例数個でファインチューニングすることで、どの程度のパフォーマンス向上が達成できるか？
• RQ4 一部のモデルは、限られたドメイン内データにさらされても一般化に失敗するが、これはモデル一般化能力にどのような示唆を与えるか？
• RQ5 Wikipedia やニュース、Webスニペットなどの異なるデータ分布は、モデルパフォーマンスおよび一般化行動にどのように影響するか？

主な発見

• 最良のシステムD-Netは、12のホールドアウトテストデータセットで平均F1スコア72.5を達成し、初期のBERTベースのベースラインより10.7ポイントの絶対的向上を示した。
• adversarial trainingは12のデータセットのうち9つでパフォーマンスを向上させ、BERT-Baseベースラインより+1.9 F1の向上をもたらしたが、より強力なBERT-Largeモデルでは効果が小さかった。
• アンサンブル手法（モデル平均やmixture-of-experts）は、複数の提出に対してわずかだが一貫したパフォーマンス向上をもたらした。
• NLIタスクを併用した多タスク学習は、スプリットIIの開発セットで+0.7 F1の向上をもたらしたが、他の提出では利益が見られず、タスクの相性に敏感であることが示唆された。
• ドメイン内ファインチューニングにより、ベースラインは全体で4.6 F1ポイント向上したが、唯一のデータセット（RelationExtraction）でのみ性能ギャップを完全に埋めた。これは、D-Netの成功が単にデータ多様性によるものではなく、より強いインダクティブバイアスや優れた一般化能力に起因していることを示唆している。
• ドメイン内ファインチューニング後も大多数のデータセットでパフォーマンスギャップが継続していることから、一般化の制限要因は単にデータ不足に起因するのではなく、根本的なモデルのインダクティブバイアスや分布シフトに起因していることが明らかになった。