[論文レビュー] S-TLLR: STDP-inspired Temporal Local Learning Rule for Spiking Neural Networks

Marco Paul E. Apolinario, Kaushik Roy|arXiv (Cornell University)|Jun 27, 2023

Advanced Memory and Neural ComputingEngineering被引用数 3

ひとこと要約

本論文は、スパイク時刻依存可塑性（STDP）にインspiredされた、前後接続スパイク間の因果的および非因果的タイミング関係を組み込んだ、スパイクニューラルネットワーク（SNN）のための新規な三要因時間的局所学習ルール、S-TLLRを提案する。この手法は、BPTTと同等の精度を達成しつつ、メモリ使用量を5–50倍、MAC演算回数を1.3–6.6倍削減し、低消費電力エッジデバイスにおける効率的なオンライン学習を可能にする。

ABSTRACT

Spiking Neural Networks (SNNs) are biologically plausible models that have been identified as potentially apt for deploying energy-efficient intelligence at the edge, particularly for sequential learning tasks. However, training of SNNs poses significant challenges due to the necessity for precise temporal and spatial credit assignment. Back-propagation through time (BPTT) algorithm, whilst the most widely used method for addressing these issues, incurs high computational cost due to its temporal dependency. In this work, we propose S-TLLR, a novel three-factor temporal local learning rule inspired by the Spike-Timing Dependent Plasticity (STDP) mechanism, aimed at training deep SNNs on event-based learning tasks. Furthermore, S-TLLR is designed to have low memory and time complexities, which are independent of the number of time steps, rendering it suitable for online learning on low-power edge devices. To demonstrate the scalability of our proposed method, we have conducted extensive evaluations on event-based datasets spanning a wide range of applications, such as image and gesture recognition, audio classification, and optical flow estimation. In all the experiments, S-TLLR achieved high accuracy, comparable to BPTT, with a reduction in memory between $5-50 imes$ and multiply-accumulate (MAC) operations between $1.3-6.6 imes$.

研究の動機と目的

• 深層SNNの順序学習タスクにおけるバックプロパゲーションスルータイム（BPTT）の高い計算コストとメモリコストを低減すること。
• リソース制限のあるエッジデバイスで、定常的なメモリおよび時間計算量を有する効率的なオンライン学習を可能にする学習ルールの開発。
• 標準的な因果的STDPを超えて、非因果的スパイクタイミング関係を組み込む利点を検討すること。
• 画像、ジェスチャー、音声、オプティカルフローを含む多様なイベントベースのデータセットにおいて、手法の妥当性を検証すること。
• 生物学的に妥当な学習メカニズムが、計算オーバーヘッドを著しく削減しながらもBPTTと同等の性能を達成できることを示すこと。

提案手法

• S-TLLRはSTDPにインspiredされた三要因学習ルールであり、前シナプススパイク時刻、後シナプススパイク時刻、および誤差バックプロパゲーションまたはランダムフィードバック接続からの第三の要因を用いる。
• 後シナプス活性度を計算するための二次的活性化関数を備えた一般化されたパラメトリックSTDP方程式を導入し、柔軟なエリギビリティトレース計算を可能にする。
• エリギビリティトレースは、バックプロパゲーション（BP）または直接フィードバックアライメント（DFA）から得られる学習信号によって調整され、スケーラブルかつ局所的な重み更新を可能にする。
• 各シナプスに対して、前シナプスおよび後シナプススパイク時刻に依存する即時のエリギビリティトレースを計算し、パラメータ化された後シナプス影響係数を介して非因果的項を含める。
• 学習ルールは、時間ステップ数に依存しない定常的な時間およびメモリ計算量を持つように設計されており、オンラインおよびリアルタイム学習に適している。
• 学習信号生成にはBPおよびDFAの両方をサポートしており、信号精度が性能に与える影響を評価するためのアブレーションスタディが可能である。

実験結果

リサーチクエスチョン

• RQ1 非因果的スパイクタイミング関係を組み込んだ生物学的にインスパイアされた学習ルールは、SNNの学習性能を向上させることができるか？
• RQ2 S-TLLRは、BPTTと同等の精度を達成しながら、顕著に低いメモリおよび計算コストを実現するか？
• RQ3 エリギビリティトレースに非因果的項を組み込むことで、多様なイベントベースのデータセットにおける汎化性およびタスクパフォーマンスにどのような影響を与えるか？
• RQ4 異なる学習信号生成方法（BP対DFA）が、S-TLLRにおける非因果的項の有効性に与える影響は何か？
• RQ5 S-TLLRは、VGG9やRSNNのような深層SNNアーキテクチャにおいて、複雑な時空間的タスクに効果的にスケーリング可能か？

主な発見

• S-TLLRは、DVSジェスチャー、NCALTECH101、SHDを含むすべての評価タスクでBPTTと同等の性能を達成し、最大50倍の低メモリ使用量と6.6倍の少ないMAC演算回数を実現した。
• 非因果的項（αpost = +1）を組み込むことで、一般化性能と精度が向上し、特にバックプロパゲーションを用いた場合に顕著であった。
• 直接フィードバックアライメント（DFA）を用いる場合、非因果的項の効果は限定的であり、非因果的関係を十分に活用するには正確な誤差信号（BP）が必要であると考えられる。
• LIFの漏れ係数γ（0.5）よりもわずかに高いλpre値を用いることで、平均精度が向上し、入力トレースの最適な減衰係数が膜時間定数とは異なる可能性があることを示唆した。
• アブレーションスタディにより、αpostが0でない任意の値が常にαpost = 0を上回ることが確認され、全データセットおよびモデルでαpost = +1のときが最良の結果を示した。
• SHDデータセットでは、αpost = +1を用いたS-TLLRがRSNNで78.23%（±1.84%）の精度を達成し、BPTT性能に非常に近い結果を示したが、計算複雑度は一定を維持した。