[论文解读] Deep Residual Learning in Spiking Neural Networks

Wei Fang, Zhaofei Yu+4 more|arXiv (Cornell University)|Feb 8, 2021

Advanced Memory and Neural Computing参考文献 66被引用 224

一句话总结

引入 Spike-Element-Wise (SEW) ResNet，能够直接训练深度脉冲神经网络，克服退化与梯度消失/爆炸问题，在直接训练的SNNs上在 ImageNet、DVS Gesture、CIFAR10-DVS 取得最先进的结果。

ABSTRACT

Deep Spiking Neural Networks (SNNs) present optimization difficulties for gradient-based approaches due to discrete binary activation and complex spatial-temporal dynamics. Considering the huge success of ResNet in deep learning, it would be natural to train deep SNNs with residual learning. Previous Spiking ResNet mimics the standard residual block in ANNs and simply replaces ReLU activation layers with spiking neurons, which suffers the degradation problem and can hardly implement residual learning. In this paper, we propose the spike-element-wise (SEW) ResNet to realize residual learning in deep SNNs. We prove that the SEW ResNet can easily implement identity mapping and overcome the vanishing/exploding gradient problems of Spiking ResNet. We evaluate our SEW ResNet on ImageNet, DVS Gesture, and CIFAR10-DVS datasets, and show that SEW ResNet outperforms the state-of-the-art directly trained SNNs in both accuracy and time-steps. Moreover, SEW ResNet can achieve higher performance by simply adding more layers, providing a simple method to train deep SNNs. To our best knowledge, this is the first time that directly training deep SNNs with more than 100 layers becomes possible. Our codes are available at https://github.com/fangwei123456/Spike-Element-Wise-ResNet.

研究动机与目标

• 激发对深度、可高效训练的脉冲神经网络（SNNs）的需求，超越浅层结构。
• 分析现有 Spiking ResNet 在实现恒等映射和稳定梯度方面的局限性。
• 提出 Spike-Element-Wise (SEW) 残差块，以在 SNN 中实现真正的残差学习。
• 证明 SEW ResNet 能扩展到 >100 层，并在多个数据集上超越最先进的直接训练的 SNNs。

提出的方法

• 给出一个具有离散时间动态（式(1-3)）的统一脉冲神经元模型及用于反向传播的代理梯度。
• 批判性分析 Spiking ResNet，指出它难以轻易实现恒等映射，且存在梯度消失/爆炸的问题（式(8)）。
• 引入 SEW 残差块，在脉冲激活后通过逐元素函数 g（ADD、AND、IAND）将残差与输入结合，从而实现容易的恒等映射（式(9)）。
• 解释 SEW 块如何通过确保恒定或受控的梯度传播来防止梯度退化（式(11)）。
• 提供使用 SN 启用的快捷方式的下采样 SEW 块，以在深度跨越时保持梯度流。

实验结果

研究问题

• RQ1 在直接训练的深度 SNN 中，是否能够在不采用 ANN-to-SNN 转换的情况下有效实现残差学习？
• RQ2 SEW 残差块是否在非常深的 SNN 中实现稳定训练和恒等映射？
• RQ3 与 Spiking ResNet 和现有 SNN 方法相比，SEW ResNet 在 ImageNet 及神经形态数据集上的表现如何？
• RQ4 不同的逐元素函数 g（ADD、AND、IAND）对学习动力学和性能有何影响？

主要发现

• SEW ResNet 克服 Spiking ResNet 中观察到的退化问题，更深的 SEW 网络达到更高的准确性（如 ImageNet 结果）。
• 在 ImageNet 上，SEW ResNet-34/50/101/152 在准确性上优于 Spiking ResNet 对应网络，而 SEW ResNet-101/152 则是首批直接训练的 >100 层 SNN。
• SEW 残差块实现了容易的恒等映射和稳定的梯度流动，梯度分析表明在深层 SEW 网络中梯度消失/爆炸得到缓解。
• SEW ResNet 在神经形态数据集上取得优异结果：DVS Gesture 和 CIFAR10-DVS，基于 ADD 的 SEW 块在许多情况下提供了最佳准确性且需要较少时间步数。
• 与最先进的直接训练 SNN 和 ANN-to-SNN 转换相比，SEW ResNet 在若干基准测试上实现了具有竞争力或更优的准确性，同时显著降低了时延和参数数量。