[论文解读] Convolutional Spike Timing Dependent Plasticity based Feature Learning in Spiking Neural Networks

Priyadarshini Panda, Gopalakrishnan Srinivasan+1 more|arXiv (Cornell University)|Mar 10, 2017

Advanced Memory and Neural Computing参考文献 22被引用 14

一句话总结

该论文提出了一种生物上合理的卷积脉冲神经网络（SNN），采用带有漏电整合-放电神经元的卷积脉冲时间依赖可塑性（STDP）机制，以无监督方式学习具有代表性的视觉特征。通过使用共享权重卷积核，该模型实现了更高的鲁棒性和稀疏性，在仅使用全连接SNN十分之一的训练样本下表现更优，并在MNIST数字上展现出强大的分布外泛化能力。

ABSTRACT

Brain-inspired learning models attempt to mimic the cortical architecture and computations performed in the neurons and synapses constituting the human brain to achieve its efficiency in cognitive tasks. In this work, we present convolutional spike timing dependent plasticity based feature learning with biologically plausible leaky-integrate-and-fire neurons in Spiking Neural Networks (SNNs). We use shared weight kernels that are trained to encode representative features underlying the input patterns thereby improving the sparsity as well as the robustness of the learning model. We demonstrate that the proposed unsupervised learning methodology learns several visual categories for object recognition with fewer number of examples and outperforms traditional fully-connected SNN architectures while yielding competitive accuracy. Additionally, we observe that the learning model performs out-of-set generalization further making the proposed biologically plausible framework a viable and efficient architecture for future neuromorphic applications.

研究动机与目标

• 开发一种更高效且生物上合理的SNN架构，与全连接SNN相比，可显著降低突触存储量和训练复杂度。
• 通过使用共享权重卷积核的卷积STDP，实现在SNN中无监督、稀疏且鲁棒的特征学习。
• 通过从有限训练数据中学习分层、不变的特征，提升泛化能力，特别是分布外泛化能力。
• 证明SNN可在远少于传统SNN的训练样本下实现具有竞争力的准确率，接近人类的少样本学习能力。

提出的方法

• 模型采用单层卷积SNN并结合共享权重卷积核，从输入模式中提取空间特征。
• 神经元采用漏电整合-放电（LIF）模型，以实现生物上真实的放电行为。
• 突触权重通过脉冲时间依赖可塑性（STDP）进行更新，这是一种生物上合理的学习规则，根据突触前与突触后脉冲的时间关系增强或减弱连接。
• 网络采用时间编码表示输入模式，从而在无需标签数据的情况下实现无监督学习。
• 特征学习由网络中脉冲时间相关性驱动，使系统能够发现输入数据中的潜在模式。
• 该架构天然捕捉空间与旋转变化，提升了对输入变化的鲁棒性。

实验结果

研究问题

• RQ1 具有共享权重卷积核与STDP学习的卷积SNN，是否能在远少于全连接SNN的训练样本下实现具有竞争力的性能？
• RQ2 所提出的SNN架构在多大程度上支持分布外泛化，即网络能否识别训练过程中未出现过的类别？
• RQ3 与基于全连接STDP的SNN相比，卷积STDP在特征表示与鲁棒性方面有何改进？
• RQ4 所提出的SNN能否在极少标注数据下学习到显著且可泛化的特征，同时保持能效与生物合理性？

主要发现

• 在仅用各10个样本训练'6'和'7'后，所提出的卷积SNN在未见过的MNIST数字'9'和'1'上达到了94.4%的准确率，证明了其强大的分布外泛化能力。
• 在训练'2'和'8'后对'0'和'3'进行的第二次测试获得了74.6%的准确率，表明泛化成功程度取决于训练与测试样本之间的结构相似性。
• 在'6'和'7'上训练的神经元对'9'和'1'分别表现出强烈的放电响应，证实网络在不同类别间学习到了共享的抽象特征。
• 该模型在训练样本量约为全连接SNN十分之一的情况下，识别准确率始终优于传统全连接SNN。
• 共享权重的卷积架构显著降低了突触存储量与训练复杂度，提升了效率与稀疏性。
• 网络对未见类别的泛化能力表明，基于STDP的特征学习能够捕捉到视觉输入的不变性与高层次表征。