[论文解读] Adaptive compressed sensing - a new class of self-organizing coding models for neuroscience

William K. Coulter, Christopher J. Hillar+1 more|arXiv (Cornell University)|Jun 5, 2009

Neural dynamics and brain function参考文献 18被引用 5

一句话总结

本文提出自适应压缩感知（ACS），一种新颖的神经网络模型，通过压缩感知框架中的突触学习，实现在下采样输入下的稀疏编码。与传统稀疏编码不同，ACS 即使在前向输入严重下采样时，也能形成生物上合理的、空间平滑的感受野，并通过堆叠压缩投影实现层级皮层通信，使各次解码阶段均能保留有意义的表征。

ABSTRACT

Sparse coding networks, which utilize unsupervised learning to maximize coding efficiency, have successfully reproduced response properties found in primary visual cortex \cite{AN:OlshausenField96}. However, conventional sparse coding models require that the coding circuit can fully sample the sensory data in a one-to-one fashion, a requirement not supported by experimental data from the thalamo-cortical projection. To relieve these strict wiring requirements, we propose a sparse coding network constructed by introducing synaptic learning in the framework of compressed sensing. We demonstrate that the new model evolves biologically realistic spatially smooth receptive fields despite the fact that the feedforward connectivity subsamples the input and thus the learning has to rely on an impoverished and distorted account of the original visual data. Further, we demonstrate that the model could form a general scheme of cortical communication: it can form meaningful representations in a secondary sensory area, which receives input from the primary sensory area through a "compressing" cortico-cortical projection. Finally, we prove that our model belongs to a new class of sparse coding algorithms in which recurrent connections are essential in forming the spatial receptive fields.

研究动机与目标

• 为解决传统稀疏编码模型的生物学不现实性，后者要求感受野与传入连接完全精确匹配的全连接结构。
• 开发一种学习方案，其约束条件符合实验数据支持的下采样丘脑皮层和皮层-皮层投射。
• 证明当输入被压缩和扭曲时，稀疏编码仍可形成有意义且空间平滑的感受野。
• 建立一个通用且可堆叠的皮层通信框架，基于稀疏神经码的压缩与重建。
• 表明当输入被下采样时，反馈连接在感受场塑造中变得至关重要，从而解决皮层计算中的一个关键问题。

提出的方法

• 该模型采用能量最小化框架，并使用修改后的目标函数：$ E({\bf x,a,\bf\tilde{\bf \theta}}) = \frac{1}{2}\|\bf\Phi x - \bf\Theta a\|^2 + \lambda \|a\|_{L_0} $，其中 $\bf\Phi$ 为固定随机压缩矩阵，$\bf\Theta$ 为通过梯度下降学习的自适应词典。
• 突触权重（$\bf\Theta$）通过从能量函数梯度下降推导出的赫布型学习规则进行更新，使网络能在压缩输入下实现自组织。
• 该模型分两个阶段运行：首先，初级区域接收下采样输入 $\bf\Phi x$ 并形成稀疏码 $\bf a$；其次，该码通过压缩投影传输至次级区域以实现解码。
• 感受场（RF）由关系 $\bf\Phi RF = \bf\Theta D$ 推导，其中 $D$ 为活动的协方差，表明感受场由前向权重与反馈连接共同塑造。
• 理论分析证明，在压缩状态（$k \ll m$）下，感受场几乎必然不是前向权重的标量倍数，除非 $\bf\Phi\Phi^\top$ 接近单位阵。
• 通过模拟验证，即使在输入下采样情况下，模型仍能形成平滑且具有方向选择性的感受场，并在多个阶段成功实现层级解码。

实验结果

研究问题

• RQ1 当前向输入如丘脑皮层投射一样被下采样时，稀疏编码网络能否形成生物上合理的感受场？
• RQ2 在压缩感知框架中，突触学习如何在输入失真条件下促进空间平滑感受场的形成？
• RQ3 ACS 模型能否通过实现皮层-皮层投射的压缩与解码，支持稀疏码的有意义解码，从而实现层级皮层通信？
• RQ4 当输入被下采样时，反馈连接在感受场塑造中扮演何种角色？
• RQ5 在缺乏一一对应前向连接的情况下，是否存在理论基础解释高效且非平凡感受场的出现？

主要发现

• ACS 即使在输入通过随机投影矩阵 $\bf\Phi$ 被下采样时，仍能成功形成空间平滑且具有方向选择性的感受场，证明了在真实连接约束下具有生物学合理性。
• 理论分析表明，在压缩状态下，感受场几乎必然不是前向权重的标量倍数，这与传统稀疏编码的假设相矛盾。
• 该模型展示了可堆叠性：初级区域的稀疏码可通过压缩投影传输，并在次级感觉区域成功解码为有意义的表征，支持层级皮层处理。
• 在压缩状态下，反馈连接对感受场塑造至关重要；若无反馈连接，感受场无法实现最优编码效率。
• 该模型的学习规则源自压缩感知能量函数的梯度下降，产生一种赫布型突触可塑性规则，使网络能在下采样输入下实现自组织。
• 模拟结果证实，ACS 即使仅接收原始输入的失真、下采样版本，也能再现初级视觉皮层的关键响应特性，如方向选择性。