[论文解读] Bio-Inspired Digit Recognition Using Spike-Timing-Dependent Plasticity (STDP) and Reward-Modulated STDP in Deep Convolutional Networks

Milad Mozafari, ‎Mohammad Ganjtabesh+3 more|arXiv (Cornell University)|Mar 31, 2018

Advanced Memory and Neural Computing被引用 5

一句话总结

该论文提出了一种受生物启发的深度卷积脉冲神经网络（DCSNN），在低层使用脉冲时间依赖可塑性（STDP），在高层使用奖励调制STDP（R-STDP），实现无需反向传播的能效高效的数字识别。通过学习任务区分性特征并舍弃无关特征，该方法在MNIST数据集上达到了97.2%的准确率，提供了一种生物合理且硬件友好的解决方案。

ABSTRACT

The primate visual system has inspired the development of deep artificial neural networks, which have revolutionized the computer vision domain. Yet these networks are much less energy-efficient than their biological counterparts, and they are typically trained with backpropagation, which is extremely data-hungry. To address these limitations, we used a deep convolutional spiking neural network (DCSNN) and a latency-coding scheme. We trained it using a combination of spike-timing-dependent plasticity (STDP) for the lower layers and reward-modulated STDP (R-STDP) for the higher ones. In short, with R-STDP a correct (resp. incorrect) decision leads to STDP (resp. anti-STDP). This approach led to an accuracy of $97.2\%$ on MNIST, without requiring an external classifier. In addition, we demonstrated that R-STDP extracts features that are diagnostic for the task at hand, and discards the other ones, whereas STDP extracts any feature that repeats. Finally, our approach is biologically plausible, hardware friendly, and energy-efficient.

研究动机与目标

• 开发一种生物合理、能效高效的反向传播替代方法，用于计算机视觉领域的深度学习。
• 通过利用具有时间编码的脉冲神经网络（SNN），应对传统深度网络在数据和能耗方面的高需求。
• 实现在无需外部分类器或反向传播的情况下，对深度SNN进行端到端训练。
• 研究R-STDP如何提取与任务相关的特征，同时舍弃无关特征。
• 展示通过生物启发可塑性规则训练的脉冲神经网络在硬件兼容性和能效方面的潜力。

提出的方法

• 采用深度卷积脉冲神经网络（DCSNN），利用时间编码将输入数据表示为时间模式。
• 在低层应用标准脉冲时间依赖可塑性（STDP），以从输入模式中学习重复的时间特征。
• 在高层使用奖励调制STDP（R-STDP），其中正确决策强化STDP，错误决策触发反向STDP。
• 将R-STDP作为信用分配机制，根据任务级反馈调整突触权重，从而消除对反向传播的依赖。
• 仅使用局部、在线且生物合理的学习规则，实现网络的端到端训练。
• 通过利用事件驱动计算和稀疏时间编码，设计出与神经形态硬件兼容的网络架构。

实验结果

研究问题

• RQ1 使用STDP和R-STDP训练的深度脉冲神经网络是否能在无需反向传播的情况下，在MNIST等标准视觉基准上实现高准确率？
• RQ2 与标准STDP相比，R-STDP在特征选择和任务相关性方面有何不同？
• RQ3 R-STDP在多大程度上能够学习诊断性特征，同时舍弃非信息性或冗余特征？
• RQ4 所提出的训练方案是否具有生物合理性，并适合部署在神经形态硬件上？
• RQ5 在分层网络架构中，STDP与R-STDP的结合是否能实现与标准深度网络相当的性能，同时具备更高的能效？

主要发现

• 所提出的DCSNN仅在低层使用STDP、高层使用R-STDP，在MNIST数据集上实现了97.2%的测试准确率，无需任何外部分类器或反向传播。
• R-STDP成功提取了对分类任务具有诊断意义的特征，有效过滤了非相关或冗余特征。
• 与STDP不同，后者会学习任何重复的时间模式（无论是否与任务相关），R-STDP则选择性地强化有助于正确决策的突触。
• 由于采用了稀疏事件驱动计算和生物合理的学习规则，该网络表现出显著的能效优势。
• 该架构与神经形态硬件兼容，支持低功耗、实时的推理与训练。
• 结果验证了R-STDP可作为深度SNN中有效、局部且具备信用分配能力的学习规则，适用于监督学习任务。