[论文解读] A rotation-equivariant convolutional neural network model of primary visual cortex

Alexander S. Ecker, Fabian H. Sinz+8 more|arXiv (Cornell University)|Sep 27, 2018

Neural dynamics and brain function被引用 13

一句话总结

该论文提出一种旋转等变卷积神经网络（CNN），用于建模小鼠初级视觉皮层（V1）对自然图像的响应，实现了对方向无关的神经计算特征的发现。该模型在预测神经活动方面优于标准CNN，并揭示V1神经元提取了复杂且非Gabor滤波器样特征——如非对称中心-周围模式——挑战了经典的V1 Gabor滤波器组模型。

ABSTRACT

Classical models describe primary visual cortex (V1) as a filter bank of orientation-selective linear-nonlinear (LN) or energy models, but these models fail to predict neural responses to natural stimuli accurately. Recent work shows that models based on convolutional neural networks (CNNs) lead to much more accurate predictions, but it remains unclear which features are extracted by V1 neurons beyond orientation selectivity and phase invariance. Here we work towards systematically studying V1 computations by categorizing neurons into groups that perform similar computations. We present a framework to identify common features independent of individual neurons' orientation selectivity by using a rotation-equivariant convolutional neural network, which automatically extracts every feature at multiple different orientations. We fit this model to responses of a population of 6000 neurons to natural images recorded in mouse primary visual cortex using two-photon imaging. We show that our rotation-equivariant network not only outperforms a regular CNN with the same number of feature maps, but also reveals a number of common features shared by many V1 neurons, which deviate from the typical textbook idea of V1 as a bank of Gabor filters. Our findings are a first step towards a powerful new tool to study the nonlinear computations in V1.

研究动机与目标

• 开发一种能够捕捉与神经元方向选择性无关的V1计算过程的神经网络模型。
• 利用共享特征空间，识别大规模V1神经元群体中共享的、方向不变的特征。
• 测试标准CNN与旋转等变模型中，哪一种能更准确地预测6,000个V1神经元对自然刺激的响应。
• 通过识别具有生物学合理性的复杂特征选择性，挑战将V1视为Gabor滤波器组的经典教科书观点。
• 基于共享的、方向鲁棒的特征，建立一种用于V1无监督功能细胞类型发现的新框架。

提出的方法

• 采用旋转等变CNN架构，跨空间位置和方向共享权重，实现在方向无关条件下的共享特征学习。
• 在6,000个小鼠V1兴奋性神经元的双光子钙成像数据上训练模型，这些神经元对自然图像产生响应。
• 使用包含16个学习特征的共享特征空间，通过旋转等变卷积在所有方向上提取每个特征。
• 应用激活最大化方法，通过优化输入图像以最大化神经元激活，可视化每个学习特征的偏好刺激。
• 对空间掩码施加稀疏性约束，但不对特征权重施加稀疏性，以确保有意义且非任意的特征表示。
• 通过在保留数据上计算预测响应与实际响应之间的相关性，验证模型性能。

实验结果

研究问题

• RQ1 旋转等变CNN是否能比标准CNN更准确地预测大规模V1神经元群体对自然图像的响应？
• RQ2 V1神经元中共享的方向不变特征有哪些类型？它们与经典Gabor滤波器有何不同？
• RQ3 所学习的特征是否反映了超越简单方向选择性和相位选择性的生物学上有意义的计算过程？
• RQ4 神经元为所学习特征分配的特征权重是否具有一致的符号，表明神经元之间的功能一致性？
• RQ5 所识别的特征在不同记录会话和动物之间具有多大程度的泛化能力？它们是否与解剖学或遗传学细胞类型一致？

主要发现

• 旋转等变CNN在预测6,000个V1神经元对自然图像的响应方面，优于具有相同数量特征图的标准CNN。
• 该模型仅用16个学习特征就实现了高预测精度，表明V1计算存在紧凑且共享的表征。
• 许多学习到的特征表现出非Gabor形状，包括显著的非对称中心-周围模式，与经典Gabor滤波器组模型相矛盾。
• 在16个特征中的11个，超过90%的非零神经元权重具有相同符号，表明功能一致性和生物学合理性。
• 激活最大化显示，不同特征类型的偏好刺激在空间模式上聚集，且与方向无关，证实了旋转等变性。
• 该模型在神经元间具有良好的泛化能力，且性能表现表明共享的、方向鲁棒的特征支撑了V1群体响应的显著部分。