[论文解读] Harmonizing the object recognition strategies of deep neural networks with humans

Thomas Fel, Iván Felipe+2 more|arXiv (Cornell University)|Nov 8, 2022

Visual Attention and Saliency Detection被引用 11

一句话总结

本文揭示了尽管深度神经网络（DNNs）在目标识别中的准确率持续提升，但其与人类视觉策略之间的错位正在加剧。本文提出一种可训练的神经调谐模块——神经调谐器，通过联合训练使DNNs更好地匹配人类注意力机制与特征整合模式，从而在视觉变换器（vision transformers）中显著提升类人策略的遵循程度与分类准确率。

ABSTRACT

The many successes of deep neural networks (DNNs) over the past decade have largely been driven by computational scale rather than insights from biological intelligence. Here, we explore if these trends have also carried concomitant improvements in explaining the visual strategies humans rely on for object recognition. We do this by comparing two related but distinct properties of visual strategies in humans and DNNs: where they believe important visual features are in images and how they use those features to categorize objects. Across 84 different DNNs trained on ImageNet and three independent datasets measuring the where and the how of human visual strategies for object recognition on those images, we find a systematic trade-off between DNN categorization accuracy and alignment with human visual strategies for object recognition. State-of-the-art DNNs are progressively becoming less aligned with humans as their accuracy improves. We rectify this growing issue with our neural harmonizer: a general-purpose training routine that both aligns DNN and human visual strategies and improves categorization accuracy. Our work represents the first demonstration that the scaling laws that are guiding the design of DNNs today have also produced worse models of human vision. We release our code and data at https://serre-lab.github.io/Harmonization to help the field build more human-like DNNs.

研究动机与目标

• 探究深度学习中的缩放趋势是否改善了DNN在目标识别中与人类视觉策略的一致性。
• 识别DNN准确率与人类注意力模式及特征整合行为之间系统性的权衡关系。
• 开发一种通用的训练方法，提升DNN的视觉策略以匹配人类，同时不牺牲性能。
• 通过神经调谐器提供一种可扩展的解决方案，实现对多样化DNN架构的视觉策略对齐与任务准确率的双重提升。

提出的方法

• 作者利用ClickMe和Clicktionary数据集中人类标注的特征重要性图，定义人类在ImageNet图像中关注的位置。
• 收集新的心理物理学数据，以测量人类如何将视觉特征整合为类别决策，捕捉人类视觉策略的‘如何’机制。
• 提出神经调谐器作为可微分的即插即用模块，联合优化DNN在分类准确率与人类注意力及特征整合对齐性上的表现。
• 调谐器采用双损失目标：其一使DNN特征图与人类标注的重要性图对齐；其二强制DNN的决策过程与人类的特征整合方式保持一致。
• 该方法应用于84种不同架构的DNN，包括视觉变换器（ViT）、ResNets以及针对对抗鲁棒性训练的模型。
• 通过端到端反向传播进行神经调谐器训练，确保与任何标准DNN架构的兼容性。

实验结果

研究问题

• RQ1 通过缩放定律训练的DNN准确率提升是否带来了与人类视觉策略在目标识别中更好的对齐？
• RQ2 DNN在目标分类中在多大程度上复现了人类的注意力模式（关注位置）与特征整合行为（决策方式）？
• RQ3 一种通用的训练模块能否同时提升DNN的准确率与与人类视觉策略的一致性？
• RQ4 神经调谐器是否在归纳偏差较低的模型（如视觉变换器）中带来更大的性能提升？
• RQ5 DNN与人类之间的错位是否源于模型优化利用了数据集偏差，而非学习到类人表征？

主要发现

• DNN准确率与人类视觉策略对齐之间存在系统性权衡：随着DNN准确率提升，其与人类注意力及特征整合的对齐程度反而下降。
• 该权衡在三个独立数据集（ClickMe、Clicktionary及作者自有的心理物理学实验）中均一致出现。
• 神经调谐器显著提升了DNN与人类视觉策略的对齐程度——经调谐的DNN在对齐度指标上优于所有其他测试的DNN。
• 经调谐的视觉变换器（ViT）在对齐度上获得最大提升，表明该方法对归纳偏差较低的模型尤为有效。
• 神经调谐器不仅提升对齐度，还增强了DNN性能，经调谐的模型在准确率上高于其未经调谐的对应模型。
• 经调谐的ViT在决策中更高效地整合视觉特征，更接近人类的整合模式。