[论文解读] Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks

Yifan Hu, Yujie Wu+2 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Memory and Neural Computing被引用 6

一句话总结

本文提出了一种用于脉冲神经网络（SNNs）的新颖残差块，通过利用基于脉冲的通信和时空动态特性，克服了深度SNNs中的退化问题。该方法使SNNs在CIFAR-10上可训练至482层、在ImageNet上可训练至104层，且准确率无下降，ImageNet上的top-1准确率达到76.02%，为直接训练SNNs的最高纪录，同时每个神经元平均仅需一个脉冲。

ABSTRACT

Despite the rapid progress of neuromorphic computing, the inadequate depth and the resulting insufficient representation power of spiking neural networks (SNNs) severely restrict their application scope in practice. Residual learning and shortcuts have been evidenced as an important approach for training deep neural networks, but rarely did previous work assess their applicability to the characteristics of spike-based communication and spatiotemporal dynamics. This negligence leads to impeded information flow and the accompanying degradation problem. In this paper, we identify the crux and then propose a novel residual block for SNNs, which is able to significantly extend the depth of directly trained SNNs, e.g., up to 482 layers on CIFAR-10 and 104 layers on ImageNet, without observing any slight degradation problem. We validate the effectiveness of our methods on both frame-based and neuromorphic datasets, and our SRM-ResNet104 achieves a superior result of 76.02% accuracy on ImageNet, the first time in the domain of directly trained SNNs. The great energy efficiency is estimated and the resulting networks need on average only one spike per neuron for classifying an input sample. We believe our powerful and scalable modeling will provide a strong support for further exploration of SNNs.

研究动机与目标

• 为解决由基于脉冲的通信中信息流不佳导致的深度脉冲神经网络中的退化问题。
• 将残差学习与短路连接适配至脉冲神经元的独特动态特性及时间信息处理机制。
• 实现对极深SNNs的直接训练，且无准确率下降，从而增强表征能力。
• 在基于帧和神经形态数据集上均实现最先进性能，同时具备高能效特性。

提出的方法

• 设计一种专为SNNs定制的新残差块，以保持时间动态特性并支持稳定的反向传播时间计算。
• 集成考虑脉冲时间与突触整合的跳跃连接，确保梯度流动稳定。
• 通过最小化时间与空间信号失真，优化残差块以在数百层中保持信息完整性。
• 采用改进的反向传播算法，在尊重脉冲不可微性质的同时支持端到端训练。
• 将该模块应用于残差网络架构（SRM-ResNet），并在CIFAR-10和ImageNet等标准数据集上直接进行训练。
• 通过最小化脉冲活动实现能效保障，每个神经元在每次推理中平均仅产生一个脉冲。

实验结果

研究问题

• RQ1 残差学习能否有效适配于脉冲神经网络，以防止极深架构中的退化？
• RQ2 如何设计跳跃连接以保留时空动态特性，并在SNNs中实现稳定训练？
• RQ3 在无准确率下降的前提下，直接训练的SNNs可达到的最大深度是多少？
• RQ4 SNNs能否在保持极低脉冲活动的同时，实现ImageNet上的最先进准确率？

主要发现

• 所提方法使SNNs在CIFAR-10上可训练至482层，且性能无任何下降。
• 在ImageNet上，SRM-ResNet104达到76.02%的top-1准确率，为目前直接训练SNNs报告的最高纪录。
• 即使在极端深度下，网络仍保持高准确率，展现出对深度相关退化的强鲁棒性。
• 所得到的SNNs每个神经元平均仅需一个脉冲/输入样本，表明其具有极高的能效。
• 该方法在基于帧和神经形态数据集上均有效，显示出广泛适用性。