[论文解读] Minimal Images in Deep Neural Networks: Fragile Object Recognition in Natural Images

Sanjana Srivastava, Guy Ben-Yosef+1 more|arXiv (Cornell University)|Feb 8, 2019

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了脆弱识别图像（Fragile Recognition Images, FRIs）——即在自然图像中，即使没有对抗性扰动，仅因尺寸或位置的微小变化，也会导致深度神经网络（DNN）分类准确率急剧下降的图像区域。DNN表现出远超人类的脆弱性，FRIs频繁出现，且与位置不变性问题无关，即使在正则化和池化操作下依然存在，揭示了DNN中一个关键的鲁棒性缺陷。

ABSTRACT

The human ability to recognize objects is impaired when the object is not shown in full. "Minimal images" are the smallest regions of an image that remain recognizable for humans. Ullman et al. 2016 show that a slight modification of the location and size of the visible region of the minimal image produces a sharp drop in human recognition accuracy. In this paper, we demonstrate that such drops in accuracy due to changes of the visible region are a common phenomenon between humans and existing state-of-the-art deep neural networks (DNNs), and are much more prominent in DNNs. We found many cases where DNNs classified one region correctly and the other incorrectly, though they only differed by one row or column of pixels, and were often bigger than the average human minimal image size. We show that this phenomenon is independent from previous works that have reported lack of invariance to minor modifications in object location in DNNs. Our results thus reveal a new failure mode of DNNs that also affects humans to a much lesser degree. They expose how fragile DNN recognition ability is for natural images even without adversarial patterns being introduced. Bringing the robustness of DNNs in natural images to the human level remains an open challenge for the community.

研究动机与目标

• 探究深度神经网络（DNN）在物体可见性发生轻微改变时，是否表现出与人类相似的脆弱识别行为。
• 识别并表征最先进DNN中的脆弱识别图像（FRIs），定义为在发生微小位移或尺寸变化时导致巨大分类错误的图像区域。
• 确定FRIs是否与以往研究中已知的DNN失败模式（如对物体位置微小移动缺乏不变性）不同。
• 评估常用鲁棒性技术（如数据增强、正则化和池化）在缓解FRI引发错误方面的有效性。
• 比较人类最小图像与DNN FRIs在尺寸、位置、频率和识别性能方面的差异，突出其脆弱性模式的根本性差异。

提出的方法

• 通过系统性地裁剪图像区域，并测量DNN分类置信度和输出标签在微小修改（如单像素位移或两像素缩小）下的变化，识别出脆弱识别图像（FRIs）。
• 在ImageNet上使用最先进模型（VGG-16、Inception和ResNet）评估FRIs，重点关注在最小空间扰动下识别准确率和置信度变化。
• 将DNN的FRI行为与Ullman等人（2016）研究中的人类最小图像进行比较，通过Mechanical Turk上的人类受试者实验，评估人类在DNN生成的FRIs上的识别表现。
• 应用数据增强、L2正则化和更大的池化层，测试其对FRI频率和严重程度的影响，并与基线模型进行比较。
• 在图像裁剪中使用零填充而非上采样，以排除缩放伪影作为FRI效应的原因，确认结果的稳健性。
• 使用交并比（IoU）分析人类最小图像与DNN FRIs之间的空间重叠，评估区域位置和对象部件相关性的差异。

实验结果

研究问题

• RQ1 当自然图像中物体的可见区域发生轻微改变时，即使没有对抗性扰动，深度神经网络是否表现出脆弱识别行为？
• RQ2 DNN中脆弱识别区域的频率、尺寸和空间位置与人类最小图像相比如何？
• RQ3 DNN中的脆弱识别是否独立于已知的失败模式（如对小物体位置移动缺乏不变性）？
• RQ4 像数据增强、正则化和池化等标准鲁棒性技术能否有效减少DNN中FRIs的发生？
• RQ5 当人类面对DNN生成的FRIs时，是否表现出类似的脆弱性，还是对这类微小图像区域变化保持鲁棒？

主要发现

• 在最先进DNN中，脆弱识别图像（FRIs）非常普遍，平均每张图像有13.4个FRIs，超过人类最小图像数量（每张图像5.3个）的两倍。
• DNN在正确和错误分类的FRI配对之间平均存在56%的置信度差距，而人类在相同图像配对上的识别准确率差异仅为14.5%。
• FRIs出现在比典型人类最小图像更大的区域中，且其位置通常对应于背景像素而非有意义的对象部分，而人类最小图像则集中在显著的对象特征上。
• 人类最小图像图与DNN FRI图之间的交并比（IoU）小于6%，表明空间重叠极小，脆弱性模式截然不同。
• 数据增强、正则化和更大的池化层虽能减少但无法完全消除FRI的发生，且池化对脆弱识别的影响微乎其微，表明其是一种比位置不变性更复杂的失败模式。
• 即使使用零填充而非上采样，该现象依然存在，排除了缩放伪影作为原因的可能性，且在生物启发式DNN中也观察到该现象，证实其是当前架构的根本属性。