[論文レビュー] A New Look at Spike-Timing-Dependent Plasticity Networks for Spatio-Temporal Feature Learning

Ali Safa, Ilja Ocket+4 more|Lirias (KU Leuven)|Nov 1, 2021

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本論文は、イベントカメラデータからの効率的な空間時間特徴抽出を可能にする、理論的裏付けのある非教師ありスパikingニューラルネットワーク（SNN）のフレームワークを提案する。スパイク時刻依存可塑性（STDP）を用いたアプローチにより、経験的ハイパーパrameterチューニングを排除し、N-MNIST（+9.3%）、CIFAR10-DVS（+8.2%）、IBM DVS128 Gesture（+7.74%）データセットで最先端の精度を達成するとともに、超低消費電力エッジ推論を実現する。

ABSTRACT

We present new theoretical foundations for unsupervised Spike-Timing-Dependent Plasticity (STDP) learning in spiking neural networks (SNNs). In contrast to empirical parameter search used in most previous works, we provide novel theoretical grounds for SNN and STDP parameter tuning which considerably reduces design time. Using our generic framework, we propose a class of global, action-based and convolutional SNN-STDP architectures for learning spatio-temporal features from event-based cameras. We assess our methods on the N-MNIST, the CIFAR10-DVS and the IBM DVS128 Gesture datasets, all acquired with a real-world event camera. Using our framework, we report significant improvements in classification accuracy compared to both conventional state-of-the-art event-based feature descriptors (+8.2% on CIFAR10-DVS), and compared to state-of-the-art STDP-based systems (+9.3% on N-MNIST, +7.74% on IBM DVS128 Gesture). Our work contributes to both ultra-low-power learning in neuromorphic edge devices, and towards a biologically-plausible, optimization-based theory of cortical vision.

研究の動機と目的

• イベントベースビジョン向けに高性能なSNN-STDPネットワークを設計するための原理的でトップダウンな理論の欠如に取り組む。
• SNN-STDPネットワークにおける時間のかかる経験的ハイパーパrameterチューニングを排除し、STDPパラメータ、ニューロンの閾値、時間定数、学習終了タイミングに関する理論的ガイドラインを導出する。
• 実世界のイベントカメラデータから直接空間時間特徴を学習可能な汎用的で畳み込み型のアクションベースSNN-STDPアーキテクチャを開発する。
• 標準ベンチマーク上で最先端のイベントベース特徴記述子およびSNN-STDPシステムと比較して、競争力ある性能を示す。
• 超低消費電力ニューロモーフィックエッジデバイスに適した本フレームワークの妥当性を検証するための消費電力推定を提供する。

提案手法

• SNN-STDP学習をLASSO符号化を用いた連合辞書学習と基底追求問題として定式化し、STDPダイナミクスと最適化目的関数を結びつける。
• 理論的導出により、STDPがLASSOによるスパースコーディングをどのように近似するかの条件を確立し、原理的なパrameterチューニングを可能にする。
• スパarsityパラメータμの推定にアカイケ基準に基づく追求アルゴリズムを導入し、ネットワークの初期化と学習終了を指針とする。
• DVSカメラからのイベントストリームにSTDP学習を適用する、グローバルでアクションベースで畳み込み型のSNN設計を採用する。
• STDPウィンドウの形状、ニューロンの閾値、時間定数といったネットワークパラメータは、経験的チューニングではなく解析的に導出される。
• μBrain SNNチップのハードウェアメトリクスを用いて消費電力を推定し、動的スパイクエネルギー、静的リーク、SRAMアクセスコストをモデル化する。

Figure 1: Illustrative example of DVS camera data. In this conceptual illustration, the DVS is capturing the number ”0”. a) The camera continuously outputs a stream of events in both space and time. b) When the magnitude change $|\Delta L_{ij}|$ in light log-intensity $L_{ij}$ impinging the pixel $(

実験結果

リサーチクエスチョン

• RQ1 SNNにおけるSTDPは、LASSOによるスパースコーディングという明確な最適化目的と理論的に結びつけられるか？
• RQ2 理論的導出によって、SNN-STDPネットワークにおける経験的ハイパーパrameterチューニングの必要性を排除できるか？
• RQ3 畳み込み型でアクションベースのSNN-STDPアーキテクチャは、イベントベースの空間時間認識タスクで最先端の性能を達成できるか？
• RQ4 提案されたフレームワークは、エッジニューロモーフィックデバイスに適した超低消費電力の学習と推論を可能にするか？
• RQ5 提案されたSNN-STDPシステムの性能は、従来のイベントベース特徴記述子および先行SNN-STDP手法と比べてどのように異なるか？

主な発見

• 提案フレームワークは、先行SNN-STDPシステムと比較してN-MNISTデータセットで9.3%の精度向上を達成し、顕著に優れた性能を示す。
• CIFAR10-DVSデータセットでは、従来の最先端のイベントベース特徴記述子と比較して分類精度が8.2%向上する。
• IBM DVS128 Gestureデータセットでは、最先端のSTDPベース手法と比較して7.74%の改善を達成し、アクション認識タスクにおける強力な性能を示す。
• 理論的フレームワークにより、STDPパラメータ、ニューロンの閾値、時間定数の解析的チューニングが可能となり、時間のかかる経験的探索への依存が低減される。
• 消費電力推定の結果、N-MNISTデータセットにおけるSTDP学習時で5 mW、推論時で1 mWの消費電力で動作することが示され、最先端のSNN-STDP回路と同等の低消費電力でありながら、より高い精度を達成している。
• 本フレームワークは、STDPをスパースコーディングおよび辞書学習と結びつけることで、皮質視覚の生物学的に妥当な最適化ベース理論の貢献を果たす。

Figure 2: Conceptual illustration of the LIF neuron and STDP learning . a) The LIF neuron is connected to a pre-synaptic spiking input $s_{in}$ . When the membrane potential $V$ crosses the threshold $\mu$ , the neuron emits a spike $\sigma=1$ and $V$ is reset to zero. b) The weight $W_{ij}$ is modi