[论文解读] Advancing Spiking Neural Networks towards Deep Residual Learning

Yifan Hu, Lei Deng+3 more|arXiv (Cornell University)|Dec 15, 2021

Advanced Memory and Neural Computing被引用 15

一句话总结

该论文提出MS-ResNet，一种新型脉冲神经网络架构，其基于膜电位的残差连接路径可实现极深SNN的训练——在CIFAR-10上达到482层，在ImageNet上达到104层，且无性能退化。通过基于模块动力等价理论实现梯度范数相等，MS-ResNet在仅每神经元平均1次脉冲的情况下，于ImageNet上实现了76.02%的最先进准确率，证明了直接训练SNN在高准确率与高能效方面的卓越表现。

ABSTRACT

Despite the rapid progress of neuromorphic computing, inadequate capacity and insufficient representation power of spiking neural networks (SNNs) severely restrict their application scope in practice. Residual learning and shortcuts have been evidenced as an important approach for training deep neural networks, but rarely did previous work assess their applicability to the characteristics of spike-based communication and spatiotemporal dynamics. In this paper, we first identify that this negligence leads to impeded information flow and the accompanying degradation problem in previous residual SNNs. To address this issue, we propose a novel SNN-oriented residual architecture termed MS-ResNet, which establishes membrane-based shortcut pathways, and further prove that the gradient norm equality can be achieved in MS-ResNet by introducing block dynamical isometry theory, which ensures the network can be well-behaved in a depth-insensitive way. Thus we are able to significantly extend the depth of directly trained SNNs, e.g., up to 482 layers on CIFAR-10 and 104 layers on ImageNet, without observing any slight degradation problem. To validate the effectiveness of MS-ResNet, experiments on both frame-based and neuromorphic datasets are conducted. MS-ResNet104 achieves a superior result of 76.02% accuracy on ImageNet, which is the highest to our best knowledge in the domain of directly trained SNNs. Great energy efficiency is also observed, with an average of only one spike per neuron needed to classify an input sample. We believe our powerful and scalable models will provide a strong support for further exploration of SNNs.

研究动机与目标

• 解决现有残差SNN中因信息流不佳导致的深度脉冲神经网络（SNN）性能退化问题。
• 实现通过时间反向传播（BPTT）直接训练极深SNN，克服以往依赖人工神经网络（ANN）转换方法的局限性。
• 基于模块动力等价理论，为SNN中的梯度稳定性建立理论基础，确保训练行为与深度无关。
• 在CIFAR-10和ImageNet等标准基准上，实现直接训练SNN的最先进性能与能效表现。
• 在基于帧的和类脑数据集上验证所提架构的有效性，包括实时时空数据处理能力。

提出的方法

• 提出MS-ResNet，一种新型SNN架构，其基于膜电位的残差连接路径可绕过卷积层，实现直接梯度流动。
• 提出模块动力等价理论，证明在MS-ResNet中可实现梯度范数相等，确保跨深度的稳定训练。
• 采用两阶段训练策略：首先使用T=1时间步长（每神经元仅1次脉冲）进行预训练，以高效初始化权重；随后使用T=6时间步长进行微调，以学习时空动态特性。
• 采用同步批量归一化及先进正则化技术（标签平滑、Dropout、AutoAugment），以缓解深度模型中的过拟合问题。
• 在每个残差连接前应用2×2平均池化层（步长为2），以在下采样过程中保留信息，替代标准的步长大卷积。
• 采用基于替代梯度的通过时间反向传播（BPTT），并使用脉冲激活函数的连续松弛形式，实现端到端训练。

实验结果

研究问题

• RQ1 考虑到SNN独特的时空动态特性与非可微脉冲行为，残差学习能否在SNN中有效适配？
• RQ2 为何先前的残差SNN存在性能退化与信息流受阻问题？该问题在理论与结构上如何被解决？
• RQ3 能否通过梯度范数相等实现SNN中的深度无关训练机制？其理论框架为何？
• RQ4 何种训练策略可实现极深SNN（如104层）的高效且稳定训练，而无需依赖ANN预训练或高时间步长推理？
• RQ5 直接训练的SNN在ImageNet与CIFAR-10上与转换或浅层SNN相比，其准确率与能效表现能达到何种水平？

主要发现

• MS-ResNet在104层架构下于ImageNet上实现了76.02%的最先进测试准确率，为目前直接训练SNN中最高记录。
• 该模型在CIFAR-10上成功训练至482层而无任何性能退化，展现出卓越的深度可扩展性。
• 平均仅需每神经元1.0次脉冲即可完成图像分类，表明其具有极高的能效。
• 两阶段训练策略（T=1预训练后接T=6微调）使ImageNet上的Top-1准确率达到74.21%，显著优于直接使用T=6训练的方法。
• 在微调阶段引入AutoAugment、标签平滑与Dropout，有效缓解了深度SNN中的过拟合问题，提升了泛化能力。
• 理论分析证实，通过模块动力等价理论，MS-ResNet中可实现梯度范数相等，从而支持稳定且与深度无关的训练。