[論文レビュー] Event-Driven Learning for Spiking Neural Networks

Wenjie Wei, Malu Zhang+8 more|arXiv (Cornell University)|Mar 1, 2024

Advanced Memory and Neural Computing被引用数 14

ひとこと要約

この論文は、深層スパイキングニューロンネットワークのための2つの新しいイベント駆動学習アルゴリズム STD-ED と MPD-ED を提案し、過度のスパース性と勾配反転に対処し、ニューロモルフィックハードウェア上で最先端の性能と大幅なエネルギー節約を示します。

ABSTRACT

Brain-inspired spiking neural networks (SNNs) have gained prominence in the field of neuromorphic computing owing to their low energy consumption during feedforward inference on neuromorphic hardware. However, it remains an open challenge how to effectively benefit from the sparse event-driven property of SNNs to minimize backpropagation learning costs. In this paper, we conduct a comprehensive examination of the existing event-driven learning algorithms, reveal their limitations, and propose novel solutions to overcome them. Specifically, we introduce two novel event-driven learning methods: the spike-timing-dependent event-driven (STD-ED) and membrane-potential-dependent event-driven (MPD-ED) algorithms. These proposed algorithms leverage precise neuronal spike timing and membrane potential, respectively, for effective learning. The two methods are extensively evaluated on static and neuromorphic datasets to confirm their superior performance. They outperform existing event-driven counterparts by up to 2.51% for STD-ED and 6.79% for MPD-ED on the CIFAR-100 dataset. In addition, we theoretically and experimentally validate the energy efficiency of our methods on neuromorphic hardware. On-chip learning experiments achieved a remarkable 30-fold reduction in energy consumption over time-step-based surrogate gradient methods. The demonstrated efficiency and efficacy of the proposed event-driven learning methods emphasize their potential to significantly advance the fields of neuromorphic computing, offering promising avenues for energy-efficiency applications.

研究の動機と目的

• 深層SNNの既存のイベント駆動型学習アルゴリズムの限界を評価する。
• スパイク発火タイミングまたは膜電位を活用する2つの新しいイベント駆動学習手法を開発する。
• 過度なスパース性と勾配反転に対処し、安定した学習を可能にする。
• 静的データセットとニューロモルフィックデータセットの性能向上を示す。
• 提案手法のニューロモルフィックハードウェアでのエネルギー効率を検証する。

提案手法

• 過度のスパース性と勾配反転を緩和するAdaptive Firing Threshold-based Integrate-and-Fire (AFT-IF) ニューロンを提案。
• 膜電位とスパイクタイミングの関係から微分を計算する学習がスパイク発生時に起こるSTD-EDを開発。
• AFT-LIFニューロンとマスク付き代替勾配(MSG)を用いて膜電位信号を介してイベント駆動バックプロパゲーションを可能にするMPD-EDを導入。
• STD-EDには線形 PSP カーネル、MPD-EDには膜電位ベースの学習信号を使用して勾配反転を回避。
• 両手法の重みとスパイクタイミングを更新するバックプロパゲーション方程式を導出。
• 静的データセット(F-MNIST, CIFAR-10/100)とニューロモルフィックデータセット(N-MNIST, DVS-Gesture, DVS-CIFAR10)で評価。

実験結果

リサーチクエスチョン

• RQ1 完全にイベント駆動の学習アプローチ(STD-EDとMPD-ED)は、挑戦的なデータセットで既存のイベント駆動手法を上回れるか？
• RQ2 適応発火閾値機構と膜電位信号は深層SNNの安定で効率的な学習を可能にするか？
• RQ3 スパイクタイミングと膜電位ベースの学習の精度と効率の点でのトレードオフはどのようなものか？
• RQ4 オンチップのイベント駆動学習でニューロモルフィックハードウェアのエネルギー効率はどれくらい達成できるか？

主な発見

• STD-EDとMPD-EDはベンチマークデータセットで既存のイベント駆動手法を上回る性能を達成。
• CIFAR-100で STD-ED と MPD-ED はそれぞれ対向手法を最大で 2.51% および 6.79% 上回る。
• チップ上の学習実験は、時間ステップベースの代替勾配法と比較してエネルギーを30倍削減。
• 提案手法は静的データとニューロモルフィックデータの双方で検証され、エネルギー効率の高いニューロモルフィック計算に有効であることを示す。
• エネルギー効率と実用性は理論解析とハードウェア実装結果で裏付けられている。