[论文解读] Identifying Statistical Bias in Dataset Replication

Logan Engstrom, Andrew Ilyas+4 more|arXiv (Cornell University)|May 19, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用 8

一句话总结

本文识别出在统计匹配过程中，由于选择频率估计存在噪声，导致数据集复制过程中产生统计偏差，从而夸大了 ImageNet-v2 等复制数据集中的准确率下降现象。通过使用 Mechanical Turk 重新测量选择频率并进行偏差校正，作者将报告的准确率下降从 11.7% 降低至 3.6% ± 1.5%，表明观察到的性能差距在很大程度上是由测量噪声引起的伪影，而非真正的泛化失败。

ABSTRACT

Dataset replication is a useful tool for assessing whether improvements in test accuracy on a specific benchmark correspond to improvements in models' ability to generalize reliably. In this work, we present unintuitive yet significant ways in which standard approaches to dataset replication introduce statistical bias, skewing the resulting observations. We study ImageNet-v2, a replication of the ImageNet dataset on which models exhibit a significant (11-14%) drop in accuracy, even after controlling for a standard human-in-the-loop measure of data quality. We show that after correcting for the identified statistical bias, only an estimated $3.6\% \pm 1.5\%$ of the original $11.7\% \pm 1.0\%$ accuracy drop remains unaccounted for. We conclude with concrete recommendations for recognizing and avoiding bias in dataset replication. Code for our study is publicly available at http://github.com/MadryLab/dataset-replication-analysis .

研究动机与目标

• 调查尽管控制了选择频率，为何模型在 ImageNet-v2 等复制数据集中准确率显著下降的原因。
• 识别数据集复制过程中此前被忽视的统计偏差，该偏差扭曲了性能比较结果。
• 量化噪声选择频率读数在原始数据集与复制数据集之间虚假准确率差距中的贡献程度。
• 为未来数据集复制研究提供一种检测和校正此类偏差的框架。

提出的方法

• 作者将选择频率估计过程建模为二项分布抽样过程，其中真实选择频率 s(x) 无法观测，仅通过 n 个带噪声的标注 ˆsn(x) 进行估计。
• 推导出由于标注过程中存在均值为零的噪声，导致复制数据集中估计选择频率的理论偏差。
• 通过 Amazon Mechanical Turk 开展新的数据采集活动，重新测量 ImageNet-v2 图像的选择频率。
• 应用去偏技术校正选择频率估计，并在去偏后的数据集上重新计算模型准确率。
• 使用样条建模和置信区间评估校正后准确率差距的显著性，并与原始报告的下降值进行比较。
• 分析标注者异质性和任务转移偏差作为剩余差距的潜在额外贡献因素。

实验结果

研究问题

• RQ1 在数据集复制过程中，选择频率估计的噪声在多大程度上引入统计偏差，从而夸大了观察到的准确率下降？
• RQ2 ImageNet-v2 中报告的 11.7% 准确率下降中有多少可归因于该偏差，而非真正的模型泛化失败？
• RQ3 通过新的标注活动重新测量选择频率并进行偏差校正，能否减少观察到的准确率差距？
• RQ4 这种偏差对数据集复制作为评估模型泛化能力方法的有效性有何影响？

主要发现

• 在对选择频率估计的统计偏差进行校正后，ImageNet-v2 中原始报告的 11.7% ± 1.0% 准确率下降降低至 3.6% ± 1.5%。
• 该偏差的主要来源是标注过程中的均值为零的噪声，该噪声系统性地低估了复制数据集中的选择频率。
• 该偏差因有限样本的重复使用而加剧，且在未通过新的独立标注活动重新估计选择频率之前，难以被检测到。
• 即使完成偏差校正后，剩余的准确率差距仍未被明确排除为零，表明模型可能仍对选择频率的分布变化敏感。
• 本研究表明，对数据收集流程进行统计建模对于检测和校正数据集复制中的偏差至关重要。
• 研究结果表明，许多在复制数据集中报告的性能差距可能是测量噪声的产物，而非真正的泛化失败。