[论文解读] Deep saliency: What is learnt by a deep network about saliency?

Sen He, Nicolas Pugeault|arXiv (Cornell University)|Jan 12, 2018

Visual Attention and Saliency Detection参考文献 8被引用 6

一句话总结

本文提出一种可视化方法，通过反向传播激活值至图像空间，解释深度神经网络在显著性检测任务中所学习的特征，揭示微调过程使深层神经元的感受野转变为中心-周围模式，与人类视觉显著性理论相一致，表明深度网络通过任务特定的适应机制学习到具有生物学合理性的显著性特征。

ABSTRACT

Deep convolutional neural networks have achieved impressive performance on a broad range of problems, beating prior art on established benchmarks, but it often remains unclear what are the representations learnt by those systems and how they achieve such performance. This article examines the specific problem of saliency detection, where benchmarks are currently dominated by CNN-based approaches, and investigates the properties of the learnt representation by visualizing the artificial neurons' receptive fields. We demonstrate that fine tuning a pre-trained network on the saliency detection task lead to a profound transformation of the network's deeper layers. Moreover we argue that this transformation leads to the emergence of receptive fields conceptually similar to the centre-surround filters hypothesized by early research on visual saliency.

研究动机与目标

• 研究深度卷积神经网络在显著性检测任务中所学习的表征，特别是深层网络中的表征特征。
• 通过可视化单个神经元的感受野，弥合深度学习中的可解释性鸿沟，以理解特征调谐机制。
• 研究预训练网络在微调为显著性检测任务后发生的表征变化，重点关注特征表示的演变。
• 判断所学习的特征是否与既有的视觉显著性心理学理论（如中心-周围滤波机制）相一致。
• 通过将可视化模式反馈至原始网络架构并测量目标神经元及其邻近神经元的激活水平，验证可视化模式的可解释性。

提出的方法

• 手动将中间层中单个神经元的激活值钳制为常数值（例如0.5至3），以隔离其响应。
• 使用反卷积、ReLU和上采样按相反顺序反向传播钳制后的激活值，以重建使每个神经元最大激活的输入模式。
• 通过重复稀疏特征图（仅含一个非零值）的方式实现上采样，以恢复池化过程中损失的空间分辨率，避免依赖池化索引。
• 使用学习滤波器的转置矩阵进行反卷积，以重建生成特征图激活的输入模式。
• 在反向传播过程中应用ReLU非线性，以保留网络的非线性激活行为。
• 通过将可视化模式反馈至网络并测量目标神经元及其邻近神经元的激活水平，对可视化模式进行验证。

实验结果

研究问题

• RQ1 与预训练状态相比，深度网络神经元在显著性检测任务上微调后，其感受野如何变化？
• RQ2 深层网络中学习到的感受野是否表现出与早期视觉显著性理论中提出的中心-周围滤波机制一致的模式？
• RQ3 可视化模式在多大程度上激活了目标神经元及其邻近神经元？这表明特征编码中的冗余性与侧向抑制机制如何？
• RQ4 反向传播生成的模式能否被可靠地验证为原始网络中选定神经元的真实激活源？
• RQ5 微调在将通用ImageNet特征转化为任务特定的显著性表征过程中发挥何种作用？

主要发现

• 在显著性检测任务上微调后，VGG-19网络深层神经元的感受野从通用的边缘与纹理模式转变为清晰的中心-周围配置。
• 中心-周围感受野的出现并非预训练ImageNet模型的特征，而仅通过任务特定的微调过程产生。
• 可视化模式如预期般激活了目标神经元，验证结果显示多次运行中激活水平保持一致。
• 同一层中的邻近神经元也表现出激活，表明网络在编码中心-周围特征方面存在冗余性。
• 部分神经元在激活过程中受到抑制，表明存在类似生物视觉系统中的侧向抑制机制。
• 随着激活能量增加，模式传播呈现出类似波的扩散形态，表明更高的激活值会导致更广、更弥散的感受野响应。