[论文解读] Bio-Inspired Spiking Convolutional Neural Network using Layer-wise Sparse Coding and STDP Learning

Amirhossein Tavanaei, Anthony S. Maida|arXiv (Cornell University)|Nov 9, 2016

Advanced Memory and Neural Computing参考文献 46被引用 60

一句话总结

该论文提出一种受生物启发的脉冲卷积神经网络，通过逐层、无监督学习，结合稀疏编码与概率性脉冲时间依赖可塑性（STDP）进行训练。在MNIST数据集上达到98.36%的准确率，展现出对噪声的鲁棒性，以及可堆叠的、生物上合理的分层特征学习能力。

ABSTRACT

Hierarchical feature discovery using non-spiking convolutional neural networks (CNNs) has attracted much recent interest in machine learning and computer vision. However, it is still not well understood how to create a biologically plausible network of brain-like, spiking neurons with multi-layer, unsupervised learning. This paper explores a novel bio-inspired spiking CNN that is trained in a greedy, layer-wise fashion. The proposed network consists of a spiking convolutional-pooling layer followed by a feature discovery layer extracting independent visual features. Kernels for the convolutional layer are trained using local learning. The learning is implemented using a sparse, spiking auto-encoder representing primary visual features. The feature discovery layer extracts independent features by probabilistic, leaky integrate-and-fire (LIF) neurons that are sparsely active in response to stimuli. The layer of the probabilistic, LIF neurons implicitly provides lateral inhibitions to extract sparse and independent features. Experimental results show that the convolutional layer is stack-admissible, enabling it to support a multi-layer learning. The visual features obtained from the proposed probabilistic LIF neurons in the feature discovery layer are utilized for training a classifier. Classification results contribute to the independent and informative visual features extracted in a hierarchy of convolutional and feature discovery layers. The proposed model is evaluated on the MNIST digit dataset using clean and noisy images. The recognition performance for clean images is above 98%. The performance loss for recognizing the noisy images is in the range 0.1% to 8.5% depending on noise types and densities. This level of performance loss indicates that the network is robust to additive noise.

研究动机与目标

• 开发一种生物上合理、多层的脉冲CNN，避免使用反向传播，转而采用局部学习规则。
• 通过无监督、局部学习机制，实现卷积层与特征发现层的直接训练。
• 实现可堆叠的网络架构，以实现类似于灵长类腹侧视觉通路的分层特征学习。
• 通过概率性膜电位归一化与稀疏编码，提升对加性噪声的鲁棒性。
• 通过完全基于生物上合理的学习方法训练脉冲网络，在MNIST上实现高性能分类。

提出的方法

• 使用局部学习的稀疏脉冲自编码器训练卷积滤波器，生成类似于V1简单细胞的感受野。
• 在特征发现层采用概率性漏电积分-发放（LIF）神经元模型，以提取独立的视觉特征。
• 应用概率性STDP学习规则，结合膜电位与放电概率，实现鲁棒且稀疏的特征学习。
• 通过概率性神经元动力学实现侧向抑制，以增强特征表示的稀疏性与独立性。
• 实施贪婪的、逐层训练：首先训练卷积-池化层，然后将其输出作为特征发现层的输入。
• 利用池化层的脉冲发放作为输入图像的去噪、稀疏表示，从而增强对噪声的鲁棒性。

实验结果

研究问题

• RQ1 能否仅使用局部、无监督学习规则，不依赖反向传播，训练脉冲CNN？
• RQ2 卷积层与特征发现层能否通过生物上合理的机制进行训练，同时保持分层特征抽象能力？
• RQ3 与确定性替代方案相比，使用概率性STDP与概率性LIF神经元是否能提升特征独立性与对噪声的鲁棒性？
• RQ4 所提出的网络是否具备可堆叠性，从而通过逐层训练实现更深的网络结构？
• RQ5 该网络在含噪声的MNIST数据上表现如何？在不同类型的噪声与密度下，性能下降程度如何？

主要发现

• 所提出的脉冲CNN在完整MNIST数据集上实现了98.36%的分类准确率，优于多项先前的脉冲网络方法。
• 在干净MNIST图像上的初始实验中，准确率最高达到97.5%，证实了有效的特征学习能力。
• 网络对加性噪声表现出鲁棒性，性能损失范围在0.1%至8.5%之间，具体取决于噪声类型与密度。
• 采用概率性LIF神经元与概率性STDP的特征发现层，优于使用S型STDP或无抑制的版本。
• 卷积层生成了稀疏且独立的视觉特征，其感受野类似于V1的神经元，证实了生物合理性与可堆叠性。
• 池化层输出的脉冲表示起到了去噪机制的作用，增强了对输入污染的鲁棒性。