[论文解读] Efficient Visual Coding: From Retina To V2

Honghao Shan, Garrison W. Cottrell|arXiv (Cornell University)|Dec 20, 2013

Neural dynamics and brain function参考文献 4被引用 6

一句话总结

本文提出了一种基于稀疏主成分分析（sPCA）和独立成分分析（ICA）的改进型分层视觉编码模型，用于模拟从视网膜到V2的早期视觉处理。通过在递归框架（RICA）中用sPCA替代传统ICA，该模型学习到符合生物学特性的感受野，与视网膜神经节细胞、V1简单和复杂细胞以及V2细胞的特性相匹配，为神经生理学研究提供了可检验的预测。

ABSTRACT

The human visual system has a hierarchical structure consisting of layers of processing, such as the retina, V1, V2, etc. Understanding the functional roles of these visual processing layers would help to integrate the psychophysiological and neurophysiological models into a consistent theory of human vision, and would also provide insights to computer vision research. One classical theory of the early visual pathway hypothesizes that it serves to capture the statistical structure of the visual inputs by efficiently coding the visual information in its outputs. Until recently, most computational models following this theory have focused upon explaining the receptive field properties of one or two visual layers. Recent work in deep networks has eliminated this concern, however, there is till the retinal layer to consider. Here we improve on a previously-described hierarchical model Recursive ICA (RICA) [1] which starts with PCA, followed by a layer of sparse coding or ICA, followed by a component-wise nonlinearity derived from considerations of the variable distributions expected by ICA. This process is then repeated. In this work, we improve on this model by using a new version of sparse PCA (sPCA), which results in biologically-plausible receptive fields for both the sPCA and ICA/sparse coding. When applied to natural image patches, our model learns visual features exhibiting the receptive field properties of retinal ganglion cells/lateral geniculate nucleus (LGN) cells, V1 simple cells, V1 complex cells, and V2 cells. Our work provides predictions for experimental neuroscience studies. For example, our result suggests that a previous neurophysiological study improperly discarded some of their recorded neurons; we predict that their discarded neurons capture the shape contour of objects.

研究动机与目标

• 开发一种从视网膜到V2的早期视觉处理的生物可解释分层模型。
• 填补深度学习启发的视觉编码框架中对视网膜层建模的空白。
• 通过在递归独立成分分析（RICA）模型中用稀疏主成分分析（sPCA）替代ICA，改进现有模型以提升其生物可解释性。
• 为实验神经科学生成可检验的预测，特别是关于神经元分类的神经生理学研究。

提出的方法

• 该模型采用递归架构，从PCA开始，随后应用sPCA，再通过基于变量分布期望的逐分量非线性变换。
• sPCA在各层迭代应用，以学习稀疏、局部化的感受野，类似于视网膜和皮层细胞类型。
• 该方法结合了ICA理论的统计约束，同时利用sPCA提升所学习特征的生物可解释性。
• 模型在自然图像块上进行训练，以模拟视觉输入的统计结构。
• 分析并对比感受野形状和调谐特性与已知的视网膜、V1和V2神经生理学数据。
• 该框架预测，以往在神经生理学研究中被剔除的神经元可能代表轮廓敏感细胞。

实验结果

研究问题

• RQ1 如何构建一个分层视觉编码模型，以准确模拟多个阶段早期视觉处理的感受野特性？
• RQ2 在早期视觉模型中，稀疏主成分分析（sPCA）是否能产生比传统ICA更符合生物学特性的感受野？
• RQ3 在递归独立成分分析（RICA）中使用sPCA对模拟视网膜和V2细胞反应有何影响？
• RQ4 为何某些神经生理学神经元在以往研究中被错误剔除，它们可能编码何种特征？
• RQ5 所学习的特征与视网膜、V1和V2细胞的已知解剖学和生理学特性相比如何？

主要发现

• 该模型成功学习到与视网膜神经节细胞和侧膝状体（LGN）细胞特性相符的感受野。
• V1简单细胞的感受野表现出方向选择性和空间频率调谐特性，与神经生理学数据一致。
• 通过简单细胞特征的池化操作，生成了类似V1复杂细胞的响应，反映了已知的皮层处理机制。
• 该模型生成了具有更大尺寸、非重叠且对轮廓敏感的V2样感受野。
• 本研究预测，以往在一项神经生理学研究中被剔除的神经元很可能编码物体轮廓形状，提示需重新评估其功能角色。
• 基于sPCA的模型在所有视觉处理阶段均优于标准ICA，能生成更具生物可解释性的感受野。