[论文解读] How Deep is the Feature Analysis underlying Rapid Visual Categorization?

Sven Eberhardt, Jonah Cader+1 more|arXiv (Cornell University)|Jun 3, 2016

Face Recognition and Perception参考文献 16被引用 17

一句话总结

本研究通过比较深度神经网络激活与人类在动物与非动物分类任务中的行为反应，探究了人类快速分类中视觉特征处理的深度。研究发现，人类决策与深度网络中的中间层特征相关性最高——表明人类使用中等复杂度的表征；而更深的网络层虽超越人类表现，但其决策模式与人类差异最大。

ABSTRACT

Rapid categorization paradigms have a long history in experimental psychology: Characterized by short presentation times and speedy behavioral responses, these tasks highlight the efficiency with which our visual system processes natural object categories. Previous studies have shown that feed-forward hierarchical models of the visual cortex provide a good fit to human visual decisions. At the same time, recent work in computer vision has demonstrated significant gains in object recognition accuracy with increasingly deep hierarchical architectures. But it is unclear how well these models account for human visual decisions and what they may reveal about the underlying brain processes. We have conducted a large-scale psychophysics study to assess the correlation between computational models and human participants on a rapid animal vs. non-animal categorization task. We considered visual representations of varying complexity by analyzing the output of different stages of processing in three state-of-the-art deep networks. We found that recognition accuracy increases with higher stages of visual processing (higher level stages indeed outperforming human participants on the same task) but that human decisions agree best with predictions from intermediate stages. Overall, these results suggest that human participants may rely on visual features of intermediate complexity and that the complexity of visual representations afforded by modern deep network models may exceed those used by human participants during rapid categorization.

研究动机与目标

• 确定支撑人类快速视觉分类的视觉特征分析深度。
• 评估现代深度神经网络（在物体识别上超越人类）是否能准确建模人类在快速分类任务中的决策过程。
• 确定人类决策与计算模型预测最一致的视觉处理阶段。
• 探究网络深度的增加是否提升其对人类行为的建模能力，或导致其与人类策略产生偏离。

提出的方法

• 在亚马逊 Mechanical Turk 上对 281 名参与者开展大规模心理物理学实验，使用 2,100 张平衡的动物与非动物图像。
• 采用三种最先进的深度网络——AlexNet、VGG16 和 VGG19——在 ImageNet 上预训练以提取特征。
• 从所有网络的各个层提取并分析激活响应，以评估识别准确率与人机一致性。
• 在每一层测量模型预测与人类反应的相关性，重点关注中间层与深层处理阶段的对比。
• 开展控制实验，设置不同反应时间（500ms、1000ms、2000ms），以检验时间对人类与模型一致性的影响。
• 应用统计分析（单因素方差分析，Tukey’s HSD）评估不同时间条件下分类准确率的差异。

实验结果

研究问题

• RQ1 在视觉处理的哪个阶段，人类在快速分类任务中的决策与深度神经网络预测最一致？
• RQ2 现代深度网络深度的增加是否提升其对人类快速分类行为的建模能力，还是导致其与人类策略偏离？
• RQ3 反应时间如何影响不同网络层上人类决策与模型预测之间的相关性？
• RQ4 是否存在某些图像类型中深度网络表现优于或劣于人类？这些差异背后的视觉特征是什么？

主要发现

• 所有模型中，深度网络层的识别准确率随深度单调递增，最深层的性能超过参与实验的人类。
• 人类决策与模型预测在中间层达到最大相关性——具体而言，在 VGG16 的 conv5_2 层附近——此后一致性下降。
• 人类与模型决策之间的峰值相关性出现在约 10 层处理阶段，与腹侧视觉通路的阶段数一致。
• 深层网络表现出更高的准确率，但与人类反应的一致性较低，尤其在细长动物（如蛇）、伪装动物以及非典型物体情境下。
• 人类在标志性、正面视角插图（如正对镜头的猫）上表现优于深度网络，表明其依赖于高层级、熟悉的视觉构型。
• 将反应时间从 500ms 延长至 1000ms 显著提升人类准确率（从 74% 提高至 84%），但在 2000ms 时无进一步增益，且人类与模型的一致性模式在各时间条件下保持稳定。