[论文解读] Beyond Classification: Directly Training Spiking Neural Networks for Semantic Segmentation

Youngeun Kim, Joshua Chough+1 more|arXiv (Cornell University)|Oct 14, 2021

Advanced Memory and Neural Computing参考文献 48被引用 4

一句话总结

本文提出通过使用替代梯度反向传播与时间批归一化（BNTT）直接训练脉冲神经网络（SNN）进行语义分割，相比人工神经网络-脉冲神经网络（ANN-SNN）转换方法，实现了更高的准确率和能效。该方法可在静态图像和事件数据上实现低延迟推理，在静态数据集上实现了超过2倍的能效提升。

ABSTRACT

Spiking Neural Networks (SNNs) have recently emerged as the low-power alternative to Artificial Neural Networks (ANNs) because of their sparse, asynchronous, and binary event-driven processing. Due to their energy efficiency, SNNs have a high possibility of being deployed for real-world, resource-constrained systems such as autonomous vehicles and drones. However, owing to their non-differentiable and complex neuronal dynamics, most previous SNN optimization methods have been limited to image recognition. In this paper, we explore the SNN applications beyond classification and present semantic segmentation networks configured with spiking neurons. Specifically, we first investigate two representative SNN optimization techniques for recognition tasks (i.e., ANN-SNN conversion and surrogate gradient learning) on semantic segmentation datasets. We observe that, when converted from ANNs, SNNs suffer from high latency and low performance due to the spatial variance of features. Therefore, we directly train networks with surrogate gradient learning, resulting in lower latency and higher performance than ANN-SNN conversion. Moreover, we redesign two fundamental ANN segmentation architectures (i.e., Fully Convolutional Networks and DeepLab) for the SNN domain. We conduct experiments on two public semantic segmentation benchmarks including the PASCAL VOC2012 dataset and the DDD17 event-based dataset. In addition to showing the feasibility of SNNs for semantic segmentation, we show that SNNs can be more robust and energy-efficient compared to their ANN counterparts in this domain.

研究动机与目标

• 探究将脉冲神经网络（SNN）应用于语义分割的可行性，该任务超越了传统的图像分类任务。
• 解决在分割任务中，由于空间和通道维度激活方差较大，导致ANN-SNN转换方法存在高延迟和性能差的问题。
• 设计适用于动态视觉传感器（DVS）事件数据的SNN专用网络结构（Spiking-DeepLab与Spiking-FCN）。
• 证明直接训练的SNN在语义分割任务中相比其ANN对应模型具有更高的能效和鲁棒性。

提出的方法

• 使用替代梯度学习方法，通过分段线性函数近似非可微LIF神经元的梯度，实现反向传播。
• 采用时间批归一化（BNTT）以稳定训练过程，并实现SNN从零开始的端到端训练。
• 将两种标准的ANN分割网络结构——全卷积网络（FCN）与DeepLab——重新设计为对应的脉冲神经网络版本（Spiking-FCN与Spiking-DeepLab）。
• 通过将FLOPs按脉冲速率缩放并结合CMOS能效模型计算能效，其中ANN中的MAC操作需4.6 pJ，而SNN中的AC仅需0.9 pJ。
• 在训练过程中应用空间交叉熵损失，以优化SNN权重，实现像素级分割。
• 在静态图像（PASCAL VOC2012）和事件流（DDD17）数据集上评估性能，以检验其鲁棒性与能效。

实验结果

研究问题

• RQ1 能否通过直接反向传播而非依赖ANN-SNN转换，有效训练SNN用于语义分割？
• RQ2 在分割任务中，直接训练的SNN在准确率和推理延迟方面与ANN-SNN转换的SNN相比表现如何？
• RQ3 SNN在语义分割中能效提升的程度如何，特别是在处理来自DVS相机的事件数据时？
• RQ4 在脉冲分割网络中，各层的脉冲频率和时间动态特性如何变化，它们对能耗有何影响？

主要发现

• 由于空间和通道维度激活方差较高，ANN-SNN转换在语义分割任务中无法获得合理性能，收敛需超过1,000个时间步。
• 采用替代梯度与BNTT的直接训练方法在PASCAL VOC2012与DDD17数据集上均实现了SNN的最先进性能，且所需时间步显著减少。
• 在静态PASCAL VOC2012数据集上，Spiking-FCN与Spiking-DeepLab相比其ANN对应模型分别实现了2.37倍与2.75倍的能效提升。
• 在事件驱动的DDD17数据集上，SNN相比ANN仅实现1.04倍与1.15倍的能效提升，这是由于脉冲频率较高，但仍表现出与类神经形态数据的兼容性。
• 由于跳跃连接在前向传播中引入额外脉冲，上采样层的脉冲频率最高。
• SNN的能耗是动态且依赖于数据的，而ANN的能耗则与输入无关，保持恒定。