[论文解读] Revealing Fine Structures of the Retinal Receptive Field by Deep Learning Networks

Qi Yan, Yajing Zheng+7 more|arXiv (Cornell University)|Nov 6, 2018

Neural dynamics and brain function参考文献 54被引用 8

一句话总结

本论文表明，通过在白噪声刺激上进行训练的深度卷积神经网络（CNNs）能够揭示视网膜感受野的精细结构成分，其学习到的滤波器与生物视网膜电路元件高度相似。研究显示，CNNs能够学习到细胞特异的表征，并在不同输入类型（白噪声到自然图像）之间有效泛化，表明其以具有生物学合理性的形式建模了单个视网膜神经节细胞的计算本质。

ABSTRACT

Deep convolutional neural networks (CNNs) have demonstrated impressive performance on many visual tasks. Recently, they became useful models for the visual system in neuroscience. However, it is still not clear what are learned by CNNs in terms of neuronal circuits. When a deep CNN with many layers is used for the visual system, it is not easy to compare the structure components of CNNs with possible neuroscience underpinnings due to highly complex circuits from the retina to higher visual cortex. Here we address this issue by focusing on single retinal ganglion cells with biophysical models and recording data from animals. By training CNNs with white noise images to predict neuronal responses, we found that fine structures of the retinal receptive field can be revealed. Specifically, convolutional filters learned are resembling biological components of the retinal circuit. This suggests that a CNN learning from one single retinal cell reveals a minimal neural network carried out in this cell. Furthermore, when CNNs learned from different cells are transferred between cells, there is a diversity of transfer learning performance, which indicates that CNNs are cell-specific. Moreover, when CNNs are transferred between different types of input images, here white noise v.s. natural images, transfer learning shows a good performance, which implies that CNNs indeed capture the full computational ability of a single retinal cell for different inputs. Taken together, these results suggest that CNNs could be used to reveal structure components of neuronal circuits, and provide a powerful model for neural system identification.

研究动机与目标

• 探究深度CNNs是否能通过从神经元反应中学习，揭示视网膜感受野的精细尺度结构成分。
• 确定在单个视网膜神经节细胞（RGCs）上训练的CNNs是否反映具有生物学合理性的神经回路架构。
• 评估CNN模型在不同RGCs及输入刺激（白噪声与自然图像）之间的可迁移性。
• 评估CNNs是否能捕捉单个视网膜细胞对多样化视觉输入的完整计算能力。
• 建立CNNs作为可解释模型，用于识别和验证早期视觉处理中神经回路的组成成分。

提出的方法

• 使用白噪声图像刺激训练深度CNNs，以预测单个视网膜神经节细胞（RGCs）的放电反应。
• 将CNNs中学习到的卷积滤波器与视网膜回路的已知生物物理成分（如亚单元线性滤波器和非线性）进行比较。
• 在具有相同刺激分布的不同RGCs之间进行迁移学习，以评估学习表征的细胞特异性。
• 测试从白噪声刺激到自然图像的迁移学习性能，以评估学习计算的泛化能力。
• 通过参数剪枝和网络分析验证学习到的滤波器的功能相关性。
• 同时使用实验获得的RGC反应数据和生物物理模型生成的反应数据进行训练与验证。

实验结果

研究问题

• RQ1 在白噪声刺激上训练的深度CNNs能否揭示与已知生物电路元件相对应的视网膜感受野的精细结构成分？
• RQ2 CNNs中学习到的滤波器在多大程度上具有细胞特异性，这可通过跨细胞的迁移学习性能来判断？
• RQ3 在白噪声刺激上训练的CNNs在自然图像输入上的泛化能力如何，这反映了其对真实视网膜处理的计算保真度？
• RQ4 CNNs中学习到的组件（如滤波器）是否与视网膜回路的生物物理架构具有有意义的对应关系？
• RQ5 CNNs能否作为可解释模型，用于识别和验证早期视觉系统中神经回路的功能组件？

主要发现

• 在RGC反应上训练的CNNs中学习到的卷积滤波器，与生物物理视网膜回路模型中的亚单元线性滤波器和非线性特性高度相似。
• 在不同RGCs之间进行的迁移学习表现出差异化的性能，表明CNNs学习的是细胞特异的表征而非通用特征。
• 从白噪声到自然图像的迁移学习实现了优异性能，表明CNNs能够捕捉单个RGC在多样化输入类型下的完整计算能力。
• CNN架构成功以高保真度建模了单个视网膜神经节细胞的感受野结构，表明其捕捉到了每个细胞固有的最小神经计算本质。
• 参数剪枝结果表明，学习到的滤波器具有功能重要性且非冗余，支持其生物学可解释性。
• 结果表明，基于单个RGC反应训练的CNNs可作为可解释的、具有生物学基础的模型，用于早期视觉中神经系统的识别。