[論文レビュー] The Effect of Natural Distribution Shift on Question Answering Models

J. J. Miller, Karl Krauth+2 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 55被引用数 22

ひとこと要約

この論文は、Wikipedia、ニューヨーク・タイムズの記事、Redditの投稿、アマゾン製品レビューから作成した4つの新しいSQuADテストセットを用いて、質問応答モデルの自然な分布シフトに対するロバスト性を評価する。元のSQuADテストセットにおける適応的過学習の証拠は見当たらないが、モデルは新しいドメインにおいて著しくF1スコアが低下し、それぞれ3.8、14.0、17.4ポイントの低下を示した。一方、人間のパフォーマンスは安定しており、ベンチマークの分布を超えたモデルの一般化性能に深刻なギャップがあることが浮き彫りになった。

ABSTRACT

We build four new test sets for the Stanford Question Answering Dataset (SQuAD) and evaluate the ability of question-answering systems to generalize to new data. Our first test set is from the original Wikipedia domain and measures the extent to which existing systems overfit the original test set. Despite several years of heavy test set re-use, we find no evidence of adaptive overfitting. The remaining three test sets are constructed from New York Times articles, Reddit posts, and Amazon product reviews and measure robustness to natural distribution shifts. Across a broad range of models, we observe average performance drops of 3.8, 14.0, and 17.4 F1 points, respectively. In contrast, a strong human baseline matches or exceeds the performance of SQuAD models on the original domain and exhibits little to no drop in new domains. Taken together, our results confirm the surprising resilience of the holdout method and emphasize the need to move towards evaluation metrics that incorporate robustness to natural distribution shifts.

研究の動機と目的

• SQuADモデルが、同じホールドアウトテストセットに対する繰り返し評価によって過学習しているかどうかを評価すること。
• SQuADモデルの、Wikipediaを越えた自然な分布シフトへの一般化性能を評価すること。
• 多様なドメインにおいて、強力な人間ベースラインと比較してモデルのロバスト性を評価すること。
• 現在の評価手法が、現実世界のロバスト性を正しく反映していない可能性を示すこと。

提案手法

• 同じデータ生成パイプラインを用いて、Wikipedia（元のドメイン）に加え、ニューヨーク・タイムズの記事、Redditの投稿、アマゾン製品レビューから、4つの新しいSQuAD形式のテストセットを構築した。
• F1スコアを主な指標として、幅広い最先端SQuADモデルを4つのテストセットすべてで評価した。
• 著者が手作業で質問をアノテートし、回答を提供することで、強力な人間ベースラインを確立した。
• モデルが元のSQuADテストセットで達成したパフォーマンスと、新しいドメインでのパフォーマンスの関係を分析するために線形回帰を用いた。
• 適応的過学習を検出するために、モデルのパフォーマンスを元のSQuAD開発セット（公に利用可能）と新しいテストセットで比較した。
• 95%信頼区間を伴うF1スコアを報告し、有意性を評価する統計的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 同じホールドアウトテストセットに対する繰り返し評価によって、SQuADモデルに適応的過学習の兆候が見られるか？
• RQ2 SQuADモデルは、Wikipediaからニュース記事、ソーシャルメディア、製品レビューへのドメイン移行といった自然な分布シフトに対して、どのように一般化するか？
• RQ3 これらの新しい分布外テストセットにおいて、人間のパフォーマンスは最先端モデルと比べてどうなるか？
• RQ4 元のSQuADテストセットでのパフォーマンスが、新しいドメインでのパフォーマンスをどの程度予測できるか？

主な発見

• SQuADテストセットにおける適応的過学習の証拠は見当たらない。モデルが元のテストセットで達成したパフォーマンスと、新しいテストセットでのパフォーマンスの間に強い相関関係が確認され、決定係数R²は0.99で、回帰の傾きは1に近い値を示した。
• ニューヨーク・タイムズのテストセットでは、モデルの平均F1スコアが3.8ポイント低下し、自然な分布シフト下での中程度の性能低下を示した。
• Redditのテストセットでは、モデルの平均F1スコアが14.0ポイント低下し、口語的・非公式なテキストにおける顕著なロバストネスの問題が明らかになった。
• アマゾン製品レビューのテストセットでは、モデルの平均F1スコアが17.4ポイント低下し、観察された中で最大の性能低下となり、ドメイン固有のユーザーゲネレーテッドコンテンツへの一般化性能の低さが浮き彫りになった。
• 人間のパフォーマンスは全ドメインで非常に安定しており、F1スコアの低下は0.1～3.0ポイントにとどまり、新テストセットにおいても常に最高のモデルを上回った。
• 元のドメインと新しいドメインでのパフォーマンスの強い相関（傾き～1）から、SQuADで1ポイントの性能向上が、新しいドメインでもおおよそ1ポイントの向上に相当することが示唆されるが、絶対的なパフォーマンスギャップは依然として大きい。