[论文解读] Correspondence of Deep Neural Networks and the Brain for Visual Textures

Nasir Uddin Laskar, Luis G. Sánchez Giraldo+1 more|arXiv (Cornell University)|Jun 7, 2018

Neural dynamics and brain function参考文献 41被引用 15

一句话总结

本文研究了深度卷积神经网络（CNNs）与灵长类视觉皮层在处理视觉纹理时的对应关系，重点关注从V1到V2的转变过程。通过一种新颖的单元选择与加权平均方法，研究发现预训练CNN的前两层——尤其是包含除法归一化等非线性操作时——最能匹配V2神经元对纹理的响应，展现出与神经生理学数据高度一致的定量与定性特征。

ABSTRACT

Deep convolutional neural networks (CNNs) trained on objects and scenes have shown intriguing ability to predict some response properties of visual cortical neurons. However, the factors and computations that give rise to such ability, and the role of intermediate processing stages in explaining changes that develop across areas of the cortical hierarchy, are poorly understood. We focused on the sensitivity to textures as a paradigmatic example, since recent neurophysiology experiments provide rich data pointing to texture sensitivity in secondary but not primary visual cortex. We developed a quantitative approach for selecting a subset of the neural unit population from the CNN that best describes the brain neural recordings. We found that the first two layers of the CNN showed qualitative and quantitative correspondence to the cortical data across a number of metrics. This compatibility was reduced for the architecture alone rather than the learned weights, for some other related hierarchical models, and only mildly in the absence of a nonlinear computation akin to local divisive normalization. Our results show that the CNN class of model is effective for capturing changes that develop across early areas of cortex, and has the potential to facilitate understanding of the computations that give rise to hierarchical processing in the brain.

研究动机与目标

• 理解深度CNN中的哪些计算机制能够实现与早期视觉皮层神经响应的对应，特别是针对纹理敏感性。
• 确定是学习权重还是网络架构本身驱动与皮层数据的对应关系。
• 量化CNN中分层处理如何模拟大脑中从V1到V2的纹理选择性出现过程。
• 评估局部除法归一化等非线性操作在实现这种对应关系中的作用。
• 开发一种系统性方法，用于选择最能匹配V2记录神经群体的CNN单元子集。

提出的方法

• 采用加权最小二乘优化方法，寻找一组CNN单元，使其平均响应最匹配V2神经记录的平均调制指数。
• 应用正则化优化（公式5），以促进所选单元间权重的均衡分配，提升可解释性与子集选择效果。
• 采用两阶段流程，基于正则化后的估计权重，选出前103个CNN单元，确保子集稀疏且具代表性。
• 通过在扩展图像数据集上采用225折留一法交叉验证，验证模型的鲁棒性。
• 使用预测调制指数与实测调制指数之间的欧氏距离作为主要指标，量化模型与大脑的对应程度。
• 将模型与多种替代架构及变体进行比较，包括无非线性操作或采用不同训练策略的模型。

实验结果

研究问题

• RQ1 预训练CNN的前两层在多大程度上复现了V2中观察到的纹理选择性出现，而V1中未出现？
• RQ2 CNN架构中的哪些组件——学习权重、网络架构或非线性操作——对于匹配皮层数据至关重要？
• RQ3 引入局部除法归一化如何影响模型预测V2响应的能力？
• RQ4 能否选择CNN单元的子集，使其定量匹配真实V2神经群体的响应特征？
• RQ5 该模型在不同图像子集和训练条件下对神经生理学数据的拟合效果有多强的鲁棒性？

主要发现

• CNN的前两层与V2神经响应表现出强烈的定性与定量对应关系，尤其体现在纹理选择性的形成方面。
• 当仅使用架构而不包含学习权重时，模型与皮层数据的对应关系显著降低，表明监督训练至关重要。
• 存在类似局部除法归一化的非线性计算是必不可少的；移除该操作会显著降低模型性能。
• 正则化子集选择方法（λ = 0.8）成功识别出103个具有代表性的CNN单元，其响应与V2数据高度匹配，其中40%的选中单元权重高于2e⁻³。
• 交叉验证结果证实了模型的鲁棒性，不同图像子集上均保持一致的拟合效果且预测误差较低。
• CNN预测与V2数据之间的欧氏距离在第二层达到最小，表明L2层与大脑的对应关系最强，与V1到V2的转变过程一致。