[论文解读] When does dough become a bagel? Analyzing the remaining mistakes on ImageNet

Vijay K. Vasudevan, Benjamin Caine+3 more|arXiv (Cornell University)|May 9, 2022

Machine Learning and Data Classification被引用 10

一句话总结

本文分析了当前最先进 ImageNet 模型在多标签验证集上的剩余错误，揭示了近一半的“错误”在专家重新评估后实际上为正确预测，而40%则代表了重大且明确的错误。作者提出了 ImageNet-M，一个包含68个样本的基准测试集，用于更准确地衡量未来模型在这些关键错误上的进步。

ABSTRACT

Image classification accuracy on the ImageNet dataset has been a barometer for progress in computer vision over the last decade. Several recent papers have questioned the degree to which the benchmark remains useful to the community, yet innovations continue to contribute gains to performance, with today's largest models achieving 90%+ top-1 accuracy. To help contextualize progress on ImageNet and provide a more meaningful evaluation for today's state-of-the-art models, we manually review and categorize every remaining mistake that a few top models make in order to provide insight into the long-tail of errors on one of the most benchmarked datasets in computer vision. We focus on the multi-label subset evaluation of ImageNet, where today's best models achieve upwards of 97% top-1 accuracy. Our analysis reveals that nearly half of the supposed mistakes are not mistakes at all, and we uncover new valid multi-labels, demonstrating that, without careful review, we are significantly underestimating the performance of these models. On the other hand, we also find that today's best models still make a significant number of mistakes (40%) that are obviously wrong to human reviewers. To calibrate future progress on ImageNet, we provide an updated multi-label evaluation set, and we curate ImageNet-Major: a 68-example "major error" slice of the obvious mistakes made by today's top models -- a slice where models should achieve near perfection, but today are far from doing so.

研究动机与目标

• 重新评估当前最先进 ImageNet 模型在多标签验证集上剩余错误的有效性。
• 识别所谓模型错误是否实际上因忽略了多标签可能性而应被重新归类为正确预测。
• 对剩余错误进行分类并评估其严重性，以校准未来评估标准。
• 创建一个聚焦且高实用性的基准测试集——ImageNet-M，用于衡量最明显、无歧义错误的进展。
• 倡导改进、动态的多标签评估协议，支持标签更新和社区贡献。

提出的方法

• 手动审查并重新评估两种最先进模型（ViT-3B 和 Greedy Soups）在 ImageNet 多标签验证集上所犯的每一个错误。
• 通过专家小组共识重新分类预测结果为正确或错误，特别关注多标签有效性与语义边界的界定。
• 按类型（如误分类、过度解释、解释不足）和严重性（重大 vs. 轻微）对错误进行分类。
• 识别出68个“重大”错误的子集——即人类评审员一致拒绝的明显错误预测——作为 ImageNet-M 的核心。
• 设计 ImageNet-M 以实现全面标注、版本控制，并具备可扩展性，以支持未来社区更新。
• 利用现有的 Reassessed Labels（ReaL）和人工评估子集，将判断建立在专家验证的数据基础之上。

实验结果

研究问题

• RQ1 在具备多标签意识的前提下重新评估后，顶级 ImageNet 模型在多标签验证集上剩余错误中，有多少实际上属于正确预测？
• RQ2 尽管 Top-1 准确率极高，当前最先进模型中仍存在哪些类型和严重程度的错误？
• RQ3 一个经过精心筛选的小规模无歧义重大错误评估集，能否作为衡量未来进展的更有意义基准，优于完整 ImageNet？
• RQ4 标签噪声、类定义不明确以及多标签模糊性在多大程度上扭曲了 ImageNet 上的性能评估？
• RQ5 评估协议应如何改进，以支持模型能力的持续演进并保持长期基准的相关性？

主要发现

• 约一半（约50%）的顶级模型在多标签验证集上犯的错误，在专家重新评估后被重新归类为正确预测，表明模型性能被显著低估。
• 剩余错误中40%被归类为“重大”——即人类评审员一致拒绝的明显错误预测，表明存在持续且非微不足道的失败。
• 最佳模型在人工评估的多标签子集上的表现与专家人类评分者相当或更优，表明在许多情况下已达到接近人类水平的理解能力。
• 本研究揭示，标签噪声和类定义不明确仍是准确衡量 ImageNet 进展的关键挑战。
• 提出 ImageNet-M——一个包含68个重大错误样本的子集——作为聚焦基准测试集，未来模型应在该基准上实现接近完美的准确率。
• 作者证明，尽管多标签评估比 Top-1 更准确，但目前仍缺乏全面、可更新且由社区维护的评估集合。