[论文解读] Learning Features and their Transformations by Spatial and Temporal Spherical Clustering

Jayanta Dutta, Bonny Banerjee|arXiv (Cornell University)|Aug 10, 2013

Neural dynamics and brain function参考文献 20被引用 5

一句话总结

该论文提出了一种两层、无监督、在线的神经模型，通过第一层的球面聚类学习空间特征，通过第二层的时间球面聚类学习时变不变特征。该模型从自然猫摄像头视频中发展出类似简单细胞和复杂细胞的感受野，通过时间邻近性实现拓扑图形成，并利用学习到的转移概率支持高阶预测，且仅需两个可调参数。

ABSTRACT

Learning features invariant to arbitrary transformations in the data is a requirement for any recognition system, biological or artificial. It is now widely accepted that simple cells in the primary visual cortex respond to features while the complex cells respond to features invariant to different transformations. We present a novel two-layered feedforward neural model that learns features in the first layer by spatial spherical clustering and invariance to transformations in the second layer by temporal spherical clustering. Learning occurs in an online and unsupervised manner following the Hebbian rule. When exposed to natural videos acquired by a camera mounted on a cat's head, the first and second layer neurons in our model develop simple and complex cell-like receptive field properties. The model can predict by learning lateral connections among the first layer neurons. A topographic map to their spatial features emerges by exponentially decaying the flow of activation with distance from one neuron to another in the first layer that fire in close temporal proximity, thereby minimizing the pooling length in an online manner simultaneously with feature learning.

研究动机与目标

• 开发一种生物上合理、完全可学习的计算模型，用于人工与生物识别系统中的变换不变特征学习。
• 理解初级视觉皮层中简单-复杂细胞层对作为分层网络中标准计算单元的功能作用。
• 在无需预设池化区域或群稀疏性假设的前提下，利用时间连续性和物理约束学习拓扑特征图。
• 通过学习第一层神经元之间的转移概率，赋予模型预测能力。
• 通过将超参数数量减少至仅两个（学习率与阈值衰减参数）来最小化人工调参。

提出的方法

• 第一层在单位超球面上使用空间球面聚类学习空间特征，其中异常值不影响聚类中心，模拟简单细胞的感受野。
• 第二层应用时间球面聚类，学习对时间域任意变换的不变响应，模拟复杂细胞特性。
• 采用在线且无监督的赫布学习规则，权重根据突触前与突触后活动进行更新。
• 通过学习第一层神经元之间的侧向连接来编码转移概率，从而实现对未来放电模式的预测。
• 拓扑图通过时间上接近的共激活神经元之间呈指数衰减的激活流自然形成，动态最小化池化长度。
• 模型使用固定大小的空间与时间感受野，复杂神经元采样频率低于简单神经元，以捕捉时间序列。

实验结果

研究问题

• RQ1 能否通过球面聚类在无异常值影响的情况下，以生物上合理的方式学习空间特征？
• RQ2 第二层的时间球面聚类能否在时空数据中实现对任意变换的不变性？
• RQ3 如何在无需预设池化区域或群稀疏性假设的前提下，通过在线方式学习空间特征的拓扑图？
• RQ4 能否通过结合学习到的变换与侧向转移概率，使模型预测未来的神经活动？
• RQ5 当在自然猫摄像头视频上训练时，该模型的行为在多大程度上与V1中的简单细胞和复杂细胞相似？

主要发现

• 在自然猫摄像头视频上训练后，第一层神经元发展出与猕猴V1中简单细胞感受野相似的感受野。
• 第二层神经元表现出类似复杂细胞的变换不变响应，其序列响应中观察到方向选择性。
• 该模型成功学习了可变长度的特征序列，表现为八个L2神经元在相同的时间采样区间内学习了不同长度的序列。
• 拓扑图通过时间邻近性与指数衰减的激活流自然形成，无需显式设计池化区域。
• 系统熵随时间减少，表明在自然刺激在线学习过程中实现收敛。
• 通过结合复杂神经元学习到的前馈集合与侧向转移概率，提升了预测准确性，且对训练序列与排列序列的激活差异更为显著。