[论文解读] Making a Spiking Net Work: Robust brain-like unsupervised machine learning

Peter Stratton, Andrew Wabnitz+3 more|arXiv (Cornell University)|Aug 2, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

该论文提出一种脉冲神经网络（SNN），通过一种新颖的局部学习规则解决动态的‘脉冲消失问题’，在无监督学习中实现了最先进性能。该模型仅用1/50的训练轮次和无标签数据，即可达到人工神经网络（ANN）的准确率，且采用简单的线性读出机制，实现了快速、高效且可解释的机器学习。

ABSTRACT

The surge in interest in Artificial Intelligence (AI) over the past decade has been driven almost exclusively by advances in Artificial Neural Networks (ANNs). While ANNs set state-of-the-art performance for many previously intractable problems, the use of global gradient descent necessitates large datasets and computational resources for training, potentially limiting their scalability for real-world domains. Spiking Neural Networks (SNNs) are an alternative to ANNs that use more brain-like artificial neurons and can use local unsupervised learning to rapidly discover sparse recognizable features in the input data. SNNs, however, struggle with dynamical stability and have failed to match the accuracy of ANNs. Here we show how an SNN can overcome many of the shortcomings that have been identified in the literature, including offering a principled solution to the dynamical "vanishing spike problem", to outperform all existing shallow SNNs and equal the performance of an ANN. It accomplishes this while using unsupervised learning with unlabeled data and only 1/50th of the training epochs (labeled data is used only for a simple linear readout layer). This result makes SNNs a viable new method for fast, accurate, efficient, explainable, and re-deployable machine learning with unlabeled data.

研究动机与目标

• 解决现有浅层脉冲神经网络（SNN）在无监督学习中存在不稳定和性能差的问题。
• 克服‘脉冲消失问题’——这一关键的动力学不稳定性阻碍了SNN的训练和特征学习。
• 使SNN在显著减少训练轮次和无标签数据的前提下，达到人工神经网络（ANN）的准确率。
• 开发一种可本地学习、生物学上合理的学习规则，以支持对输入数据中快速、稀疏特征的发现。
• 证明SNN可作为真实世界机器学习应用中可行、高效且可解释的替代方案。

提出的方法

• 提出一种新颖的局部学习规则，仅利用突触前和突触后活动的局部信息，实现SNN的无监督训练。
• 实施一种动态阈值机制，通过在长时间内维持脉冲活动，防止‘脉冲消失问题’。
• 采用具有自适应漏电和不应期特性的脉冲神经元模型，以增强时间编码能力和稳定性。
• 使用所提出的局部学习规则在无标签数据上训练SNN，以提取稀疏且可识别的特征。
• 应用一个仅用少量标注数据训练的简单线性读出层，实现高分类准确率。
• 优化网络架构和学习超参数，以在最少训练轮次下最大化性能。

实验结果

研究问题

• RQ1 SNN能否克服‘脉冲消失问题’，实现稳定且有效的无监督学习？
• RQ2 SNN在仅使用无标签数据的情况下，能在多大程度上匹配全连接人工神经网络（ANN）在分类任务中的表现？
• RQ3 与全局反向传播相比，所提出的局部学习规则在样本效率和训练速度方面表现如何？
• RQ4 SNN能否以远少于标准SNN和ANN的训练轮次实现高准确率？
• RQ5 所提出的SNN架构在真实世界机器学习场景中是否具备鲁棒性、可解释性以及可重部署性？

主要发现

• 所提出的SNN在基准数据集上的分类准确率与全连接人工神经网络（ANN）相当。
• 该模型仅需标准SNN通常所需训练轮次的1/50，显著提升了训练效率。
• 通过动态阈值机制，网络成功缓解了‘脉冲消失问题’，维持了脉冲活动的持续性。
• 在无标签数据上进行无监督预训练，使SNN能够学习到稀疏且有意义的特征，具有良好的泛化能力。
• 最终的线性读出层仅用极少量标注数据进行训练，即实现了高准确率，证明了模型的可扩展性和高效性。
• SNN表现出鲁棒性、计算成本低，并具备在真实环境中实现实时、可解释人工智能部署的潜力。