[论文解读] ImageNet-Hard: The Hardest Images Remaining from a Study of the Power of Zoom and Spatial Biases in Image Classification

Mohammad Reza Taesiri, Giang Nguyen+3 more|arXiv (Cornell University)|Apr 11, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了 ImageNet-Hard，一个全新的基准数据集，用于评估在最优缩放条件下仍被错误分类的 ImageNet 图像中最具挑战性的样本。作者展示了测试时缩放可将 ImageNet 上的准确率提升至 98.91%，揭示了 ImageNet-A 和 ObjectNet 中显著的空间偏差（尤其是中心偏差），并提出了一种新颖、更快且更具可解释性的基于缩放的测试时增强（TTA）方法，其性能优于 MEMO。

ABSTRACT

Image classifiers are information-discarding machines, by design. Yet, how these models discard information remains mysterious. We hypothesize that one way for image classifiers to reach high accuracy is to first zoom to the most discriminative region in the image and then extract features from there to predict image labels, discarding the rest of the image. Studying six popular networks ranging from AlexNet to CLIP, we find that proper framing of the input image can lead to the correct classification of 98.91% of ImageNet images. Furthermore, we uncover positional biases in various datasets, especially a strong center bias in two popular datasets: ImageNet-A and ObjectNet. Finally, leveraging our insights into the potential of zooming, we propose a test-time augmentation (TTA) technique that improves classification accuracy by forcing models to explicitly perform zoom-in operations before making predictions. Our method is more interpretable, accurate, and faster than MEMO, a state-of-the-art (SOTA) TTA method. We introduce ImageNet-Hard, a new benchmark that challenges SOTA classifiers including large vision-language models even when optimal zooming is allowed.

研究动机与目标

• 探究图像分类器是否依赖于聚焦于判别性区域而非全图特征提取。
• 识别并量化流行视觉基准（如 ImageNet-A 和 ObjectNet）中的空间偏差，尤其是中心偏差。
• 开发一种明确利用缩放以提升分类准确率的测试时增强方法。
• 构建 ImageNet-Hard，一个在最优缩放条件下仍被错误分类的最具挑战性图像的新基准。
• 揭示当前最先进视觉模型（包括视觉-语言模型）在面对困难、罕见或病态图像时的持续局限性。

提出的方法

• 作者通过将图像较小边长缩放至目标尺度 S，并从以网格单元中心为基准的 3×3 网格中生成 9 个裁剪图像，系统性地开展缩放研究。
• 在 ImageNet、ImageNet-A、ObjectNet 及其他基准上，对多种模型（从 AlexNet 到 CLIP）在最优缩放条件下的表现进行评估，以衡量准确率提升。
• 提出一种新型 TTA 技术，强制模型在预测前执行缩放操作，从而提升鲁棒性与准确率。
• 该方法在测试时将缩放作为归纳偏置引入，其性能在准确率、速度与可解释性方面均优于 MEMO。
• 通过分析 ImageNet-Hard 上的误分类模式，识别 SOTA 模型仍面临的挑战。
• 发布 ImageNet-Hard，这是一个 1000 分类的基准，源自七个 ImageNet 规模的数据集，即使在 324 种缩放设置下，CLIP 仍会失败。

实验结果

研究问题

• RQ1 最优缩放能否显著提升 SOTA 图像分类器在 ImageNet 上的准确率？
• RQ2 空间偏差（尤其是中心偏差）在多大程度上影响模型在 ImageNet-A 和 ObjectNet 上的性能？
• RQ3 能否有效利用缩放作为测试时增强策略，以提升模型准确率与可解释性？
• RQ4 在最优缩放条件下，哪些类型的图像仍被错误分类，原因是什么？
• RQ5 SOTA 视觉模型（包括视觉-语言模型）在最具挑战性的剩余图像的新基准上表现如何？

主要发现

• 最优缩放使 SOTA 模型在 ImageNet 上的准确率达到 98.91%，仅有 0.39% 的图像（约 390 幅）仍被错误分类。
• ImageNet-A 和 ObjectNet 显示出强烈的中心偏差，仅使用中心裁剪即可使 ResNet-50 在 ImageNet-A 上的准确率从 0.09% 提升至 14.58%。
• 所提出的基于缩放的 TTA 方法在准确率上优于基线模型与 MEMO，同时速度更快、更具可解释性。
• SOTA 模型（包括 CLIP ViT-L/14）在 ImageNet-Hard 上的准确率低于 19%，表明仍存在显著挑战。
• ImageNet-Hard 中最困难的图像主要为罕见、病态或模糊图像，凸显了当前模型泛化能力的局限性。
• ImageNet-Hard 是评估未来模型的有效基准，因其即使在最优缩放条件下，仍能挑战最先进的视觉-语言模型。