[论文解读] Capacity limitations of visual search in deep convolutional neural network.

Endel Põder|arXiv (Cornell University)|Jul 31, 2017

Face Recognition and Perception参考文献 23被引用 5

一句话总结

本研究评估了三种预训练的深度卷积神经网络在涉及简单特征与复杂特征配置的视觉搜索任务中的表现。与人类不同，人类仅在处理复杂配置时表现出强烈的容量限制，而这些网络在两种情况下均表现出相似的性能限制，表明其在处理视觉搜索方面与生物系统存在根本性差异。

ABSTRACT

Deep convolutional neural networks follow roughly the architecture of biological visual systems and have shown a performance comparable to human observers in object recognition tasks. In this study, I tested three pretrained deep neural networks in visual search for simple visual features, and for feature configurations. The results reveal a qualitative difference from human performance. It appears that there is no clear difference between searches for simple features that pop out in experiments with humans, and for feature configurations that exhibit strict capacity limitations in human vision. Both types of stimuli reveal comparable capacity limitations in the neural networks tested here.

研究动机与目标

• 调查深度神经网络是否表现出与人类相似的视觉搜索容量限制。
• 比较网络在‘突显’的简单特征与复杂特征配置上的表现。
• 确定深度网络是否在处理容量上表现出与人类视觉系统约束相一致的定性差异。

提出的方法

• 使用视觉搜索任务评估了三种预训练的深度卷积神经网络。
• 刺激材料包括简单视觉特征（如颜色或方向）和复杂特征配置。
• 通过检测目标特征的准确率和反应时间来衡量性能。
• 实验对比了突显特征与非突显配置的搜索效率。
• 将结果与既有的人类视觉搜索数据进行对比，以识别容量限制上的相似性或差异性。

实验结果

研究问题

• RQ1 深度神经网络是否在视觉搜索中表现出与人类观察者相似的容量限制？
• RQ2 网络在搜索‘突显’特征与复杂特征配置时是否存在性能差异？
• RQ3 深度网络是否表现出与人类相同的定性差异，即复杂配置带来更大的处理限制？

主要发现

• 神经网络在简单特征和复杂特征配置上均表现出相似的容量限制。
• 与人类视觉不同，人类仅在复杂配置下受到严格限制，而网络并未区分这两种刺激类型。
• 网络中未观察到突显特征的显著性能优势，表明其缺乏基于显著性的处理机制。
• 结果表明，深度神经网络未能复现人类视觉系统在简单与复杂视觉搜索任务之间的区分能力。
• 本研究揭示了当前深度神经网络行为与生物视觉搜索在容量约束方面存在定性不匹配。