[论文解读] Going Deeper With Directly-Trained Larger Spiking Neural Networks

Hanle Zheng, Yujie Wu+3 more|arXiv (Cornell University)|Oct 29, 2020

Advanced Memory and Neural Computing被引用 11

一句话总结

本文提出 STBP-tdBN，一种阈值依赖的批量归一化方法，可实现对深度脉冲神经网络（SNNs）的直接训练，网络深度达 50 层。通过稳定梯度流动并平衡神经元放电率，该方法在 CIFAR-10（93.15%）、DVS-CIFAR10（67.8%）和 ImageNet（67.05%）上实现了最先进性能，且所需时间步数极少，标志着首次成功实现 ImageNet 上深度 SNN 的直接训练。

ABSTRACT

Spiking neural networks (SNNs) are promising in a bio-plausible coding for spatio-temporal information and event-driven signal processing, which is very suited for energy-efficient implementation in neuromorphic hardware. However, the unique working mode of SNNs makes them more difficult to train than traditional networks. Currently, there are two main routes to explore the training of deep SNNs with high performance. The first is to convert a pre-trained ANN model to its SNN version, which usually requires a long coding window for convergence and cannot exploit the spatio-temporal features during training for solving temporal tasks. The other is to directly train SNNs in the spatio-temporal domain. But due to the binary spike activity of the firing function and the problem of gradient vanishing or explosion, current methods are restricted to shallow architectures and thereby difficult in harnessing large-scale datasets (e.g. ImageNet). To this end, we propose a threshold-dependent batch normalization (tdBN) method based on the emerging spatio-temporal backpropagation, termed "STBP-tdBN", enabling direct training of a very deep SNN and the efficient implementation of its inference on neuromorphic hardware. With the proposed method and elaborated shortcut connection, we significantly extend directly-trained SNNs from a shallow structure ( < 10 layer) to a very deep structure (50 layers). Furthermore, we theoretically analyze the effectiveness of our method based on "Block Dynamical Isometry" theory. Finally, we report superior accuracy results including 93.15 % on CIFAR-10, 67.8 % on DVS-CIFAR10, and 67.05% on ImageNet with very few timesteps. To our best knowledge, it's the first time to explore the directly-trained deep SNNs with high performance on ImageNet.

研究动机与目标

• 解决直接训练的深层 SNN 中梯度流动不稳定的难题，以及梯度消失/爆炸问题。
• 通过平衡输入刺激与神经元阈值，维持训练过程中最优的放电率。
• 将直接训练的 SNN 深度扩展至 10 层以上，使其能够应用于大规模数据集（如 ImageNet）。
• 通过最小化时间延迟，实现神经形态硬件上的高效推理。
• 证明端到端训练深层 SNN 的可行性，无需从预训练的人工神经网络（ANNs）转换而来。

提出的方法

• 提出一种阈值依赖的批量归一化（tdBN），根据神经元阈值自适应调整归一化统计量，以稳定训练过程。
• 将 tdBN 与时空反向传播（STBP）结合，实现 SNN 中时间与空间维度上的梯度流动。
• 设计适用于 SNN 的改进残差快捷连接，以在深层网络中保持梯度流动。
• 将该方法应用于标准 ResNet 架构（ResNet-18、34、50），实现端到端的直接训练。
• 采用块动力学等距分析，从理论上证明梯度传播的稳定性。
• 推理时仅使用极少时间步数（≤6），保持 SNN 事件驱动效率。

实验结果

研究问题

• RQ1 阈值依赖的批量归一化能否稳定通过 STBP 训练的极深 SNN 中的梯度流动？
• RQ2 直接训练的 SNN 是否能在无需从 ANN 转换的前提下，实现大规模数据集（如 ImageNet）上的高性能？
• RQ3 所提出的归一化方法如何平衡输入与阈值，以维持有效的放电率？
• RQ4 使用 STBP-tdBN 时，直接训练的 SNN 最大可达到多深？
• RQ5 该方法是否能在 DVS-Gesture 和 DVS-CIFAR10 等神经形态数据集上超越现有 SNN 模型？

主要发现

• 所提出的 STBP-tdBN 方法可实现高达 50 层的 SNN 直接训练，显著超过以往受限于 10 层以下的模型。
• 在 CIFAR-10 上，该方法仅用 6 个时间步即达到 93.15% 的 top-1 准确率，优于以往直接训练的 SNN 模型。
• 在 ImageNet 上，使用大通道宽度的 ResNet-34 模型在仅 6 个时间步内达到 67.05% 的 top-1 准确率，标志着首次成功实现深度 SNN 在 ImageNet 上的直接训练。
• 在 DVS-Gesture 上，模型达到 96.87% 的准确率，创下该神经形态数据集上直接训练 SNN 的新最先进水平。
• 在 DVS-CIFAR10 上，模型在 10 个时间步内达到 67.8% 的准确率，超越以往最先进结果。
• 基于块动力学等距的理论分析证实，tdBN 能够稳定深层 SNN 中的梯度传播。