[论文解读] The Effect of Natural Distribution Shift on Question Answering Models

J. J. Miller, Karl Krauth+2 more|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 55被引用 22

一句话总结

本文通过从维基百科、纽约时报文章、Reddit帖子和亚马逊产品评论中创建四个新的SQuAD测试集，评估了阅读理解模型在自然分布偏移下的鲁棒性。尽管在原始SQuAD测试集上未发现自适应过拟合的证据，但模型在新领域上的F1分数显著下降——分别下降3.8、14.0和17.4分，而人类表现保持稳定，凸显了模型在基准分布之外泛化能力的关键差距。

ABSTRACT

We build four new test sets for the Stanford Question Answering Dataset (SQuAD) and evaluate the ability of question-answering systems to generalize to new data. Our first test set is from the original Wikipedia domain and measures the extent to which existing systems overfit the original test set. Despite several years of heavy test set re-use, we find no evidence of adaptive overfitting. The remaining three test sets are constructed from New York Times articles, Reddit posts, and Amazon product reviews and measure robustness to natural distribution shifts. Across a broad range of models, we observe average performance drops of 3.8, 14.0, and 17.4 F1 points, respectively. In contrast, a strong human baseline matches or exceeds the performance of SQuAD models on the original domain and exhibits little to no drop in new domains. Taken together, our results confirm the surprising resilience of the holdout method and emphasize the need to move towards evaluation metrics that incorporate robustness to natural distribution shifts.

研究动机与目标

• 评估SQuAD模型是否因在相同保留测试集上反复评估而出现过拟合。
• 评估SQuAD模型在维基百科之外的自然分布偏移下的泛化性能。
• 在多样化领域中，将模型鲁棒性与强人类基线进行比较。
• 证明当前的评估实践可能无法反映真实世界中的鲁棒性。

提出的方法

• 使用相同的数据显示生成流程，构建了四个新的SQuAD风格测试集：一个来自维基百科（原始领域），另三个分别来自纽约时报文章、Reddit帖子和亚马逊产品评论。
• 使用F1分数作为主要指标，在所有四个测试集上评估了广泛范围的最先进SQuAD模型。
• 通过作者手动标注并回答新测试集中的问题，建立了强人类基线。
• 使用线性回归分析原始SQuAD测试集上的模型表现与新领域表现之间的关系。
• 将模型在原始SQuAD开发集（公开可用）上的表现与新测试集上的表现进行比较，以检测自适应过拟合。
• 报告F1分数的95%置信区间，并进行统计分析以评估显著性。

实验结果

研究问题

• RQ1 是否存在由于在相同保留测试集上反复评估而导致SQuAD模型自适应过拟合的证据？
• RQ2 SQuAD模型在自然分布偏移下（如从维基百科转移到新闻文章、社交媒体或产品评论）的泛化能力如何？
• RQ3 在这些新的、分布外的测试集上，人类表现与最先进模型的表现相比如何？
• RQ4 在原始SQuAD测试集上的表现在多大程度上能预测在新领域上的表现？

主要发现

• 在SQuAD测试集上没有发现自适应过拟合的证据；模型在原始测试集上的表现与在新测试集上的表现具有强烈相关性，R²值为0.99，斜率接近1。
• 在纽约时报测试集上，模型平均F1分数下降3.8分，表明在自然分布偏移下出现中等程度的性能退化。
• 在Reddit上，模型平均F1分数下降14.0分，揭示了在非正式、对话式文本中存在严重的鲁棒性问题。
• 在亚马逊产品评论上，模型平均F1分数下降17.4分，为观察到的最大性能退化，突显了模型在领域特定、用户生成内容上的泛化能力极差。
• 人类表现在整个领域中保持高度稳定，F1分数仅下降0.1至3.0分，且在所有新测试集上始终优于最佳模型。
• 原始表现与新领域表现之间存在强相关性（斜率≈1），意味着SQuAD上每提升1分F1，新领域上也大致提升1分，但绝对性能差距依然显著。