[论文解读] Deep Directly-Trained Spiking Neural Networks for Object Detection

Qiaoyi Su, Yuhong Chou+5 more|arXiv (Cornell University)|Jul 21, 2023

Advanced Memory and Neural Computing被引用 15

一句话总结

本论文提出 EMS-YOLO，一种直接训练的深度脉冲神经网络用于对象检测，在仅需4个时间步的情况下实现与 COCO 数据集竞争力的性能，且能耗显著低于 ANN-SNN 转换。它还在基于事件的 Gen1 数据上展示了实时推理的强劲结果。

ABSTRACT

Spiking neural networks (SNNs) are brain-inspired energy-efficient models that encode information in spatiotemporal dynamics. Recently, deep SNNs trained directly have shown great success in achieving high performance on classification tasks with very few time steps. However, how to design a directly-trained SNN for the regression task of object detection still remains a challenging problem. To address this problem, we propose EMS-YOLO, a novel directly-trained SNN framework for object detection, which is the first trial to train a deep SNN with surrogate gradients for object detection rather than ANN-SNN conversion strategies. Specifically, we design a full-spike residual block, EMS-ResNet, which can effectively extend the depth of the directly-trained SNN with low power consumption. Furthermore, we theoretically analyze and prove the EMS-ResNet could avoid gradient vanishing or exploding. The results demonstrate that our approach outperforms the state-of-the-art ANN-SNN conversion methods (at least 500 time steps) in extremely fewer time steps (only 4 time steps). It is shown that our model could achieve comparable performance to the ANN with the same architecture while consuming 5.83 times less energy on the frame-based COCO Dataset and the event-based Gen1 Dataset.

研究动机与目标

• 激发节能的对象检测研究，并探索直接训练的 SNN 在回归任务（如边界框预测）中的应用。
• 开发一个深度、完全脉冲化的骨干网络和检测头，避免非脉冲计算以降低能耗。
• 在一个完全脉冲化的框架内实现多尺度特征提取，适用于基于帧和事件的数据。

提出的方法

• 提出 EMS-YOLO，一种基于 YOLO 的检测器，直接作为 SNN 使用代理梯度进行训练。
• 引入 EMS-ResNet，一个全脉冲残差块，使深层直接训练的 SNN 在训练中避免梯度消失/爆炸。
• 使用能量高效的膜-捷径块，以避免捷径路径上的 MAC 运算并保持仅脉冲计算。
• 采用适用于帧基和事件基数据的输入表示，包括事件的时间分箱。
• 通过区块动态等距性理论分析梯度行为，以证明深层可训练性。
• 用一个计数 AC/MAC 运算和脉冲能量指标的模型来评估能耗。

实验结果

研究问题

• RQ1 一个完全脉冲化、直接训练的 SNN 是否能在不进行 ANN-SNN 转换的情况下实现有竞争力的对象检测性能？
• RQ2 如何设计残差块，使深层计算保持全脉冲化并实现节能？
• RQ3 直接训练的 SNN 检测器在基于帧的 COCO 数据和基于事件的 Gen1 数据上的能效如何？
• RQ4 EMS-ResNet 是否在实践中能够实现深层训练而不发生梯度消失/爆炸？
• RQ5 时间步数和网络深度如何影响直接训练的 SNN 检测器的准确性？

主要发现

• 使用 EMS-ResNet34 的 EMS-YOLO 在 COCO2017 上仅有 4 个时间步即可获得有竞争力的性能，超过需要数百到数千步的某些 ANN-SNN 转换基线。
• 全脉冲 EMS-ResNet 设计在捷径路径上消除非脉冲 MAC，从而获得显著的能量节省（能量比可比的 ANN 少多达 5.83 倍）。
• 在 Gen1 事件数据集上，EMS-ResNet18/ResNet10 变体在 mAP@0.5 上更高、发射率更低，比可比的 ANN 或转换的 SNN 基线表现更强，表明在稀疏脉冲下的强劲性能。
• EMS-ResNet 骨干满足梯度动态条件（Block Dynamical Isometry），以减轻梯度消失/爆炸，提升更深层的直接训练 SNN 的可行性。
• 消融实验显示 EMS-ResNet 块提供能效并在不同深度和时间步下保持性能。