[論文レビュー] Deep Directly-Trained Spiking Neural Networks for Object Detection

Qiaoyi Su, Yuhong Chou+5 more|arXiv (Cornell University)|Jul 21, 2023

Advanced Memory and Neural Computing被引用数 15

ひとこと要約

この論文は EMS-YOLO を直接訓練された深層スパイキングニューラルネットワークを用いた物体検出を提案し、4つの時刻ステップのみで競争力の COCO パフォーマンスを達成し、ANN-SNN 変換よりもエネルギーを大幅に低減します。イベントベースの Gen1 データでもリアルタイム推論で強力な結果を示します。

ABSTRACT

Spiking neural networks (SNNs) are brain-inspired energy-efficient models that encode information in spatiotemporal dynamics. Recently, deep SNNs trained directly have shown great success in achieving high performance on classification tasks with very few time steps. However, how to design a directly-trained SNN for the regression task of object detection still remains a challenging problem. To address this problem, we propose EMS-YOLO, a novel directly-trained SNN framework for object detection, which is the first trial to train a deep SNN with surrogate gradients for object detection rather than ANN-SNN conversion strategies. Specifically, we design a full-spike residual block, EMS-ResNet, which can effectively extend the depth of the directly-trained SNN with low power consumption. Furthermore, we theoretically analyze and prove the EMS-ResNet could avoid gradient vanishing or exploding. The results demonstrate that our approach outperforms the state-of-the-art ANN-SNN conversion methods (at least 500 time steps) in extremely fewer time steps (only 4 time steps). It is shown that our model could achieve comparable performance to the ANN with the same architecture while consuming 5.83 times less energy on the frame-based COCO Dataset and the event-based Gen1 Dataset.

研究の動機と目的

• エネルギー効率の高い物体検出を動機づけ、境界ボックス予測などの回帰タスクに対して直接訓練されたSNNを探索する。
• エネルギー消費を抑えるために非スパイク計算を回避する深く、完全にスパイクのみのバックボーンと検出ヘッドを開発する。
• フレームベースおよびイベントベースデータに適した完全スパイクフレームワーク内で多段階特徴抽出を可能にする。

提案手法

• EMS-YOLO を提案する。 surrogate gradients を用いた直接 SNN として訓練された YOLO ベースの検出器。
• EMS-ResNet を導入する。 勾配の消失/発散を回避しつつ深い直接訓練 SNN を可能にする完全スパイク残差ブロック。
• Energy-Efficient Membrane-Shortcut ブロックを使用する。 ショートカット経路での MAC 演算を避け、スパイクのみの計算を維持する。
• 入力表現を採用する。 フレームベースおよびイベントベースデータの入力表現を採用し、イベントの時間ビニングを含む。
• Block Dynamical Isometry 理論による勾配挙動を分析する。 深い訓練可能性を正当化する。
• AC/MAC 演算とスパイクベースのエネルギー指標をカウントするモデルでエネルギー消費を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全なスパイクベースで直接訓練された SNN が ANN-SNN 変換なしで競争力のある物体検出性能を達成できるか。
• RQ2 どのように残差ブロックを設計すれば深さにおいて計算を完全にスパイク化しエネルギー効率を保てるか。
• RQ3 フレームベース COCO データとイベントベース Gen1 データにおける直接訓練 SNN 検出器のエネルギー効率はどの程度か。
• RQ4 EMS-ResNet は実際に勾配の消失/発散を回避して深い直接訓練 SNN を可能にするか。
• RQ5 時間ステップとネットワーク深さは直接訓練 SNN 検出器の精度にどのように影響するか。

主な発見

• EMS-YOLO with EMS-ResNet34 achieves competitive performance on COCO2017 with only 4 time steps, outperforming some ANN-SNN conversion baselines that require hundreds to thousands of steps.
• The fully-spiking EMS-ResNet design eliminates non-spike MACs on shortcut paths, yielding substantial energy savings (reported up to 5.83x fewer energy than a comparable ANN).
• On the Gen1 event-based dataset, EMS-ResNet18/ResNet10 variants achieve higher mAP@0.5 and lower firing rates than comparable ANN or converted SNN baselines, indicating strong performance with sparse spikes.
• The EMS-ResNet backbone satisfies a gradient-dynamics condition (Block Dynamical Isometry) to mitigate vanishing/exploding gradients, enabling deeper directly-trained SNNs.
• Ablations show EMS-ResNet blocks provide energy efficiency and maintain performance across varying depths and time steps.]
• table_headers:
• table_rows: