[論文レビュー] Unifying Activation- and Timing-based Learning Rules for Spiking Neural Networks

Jinseok Kim, Kyungsu Kim+1 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Memory and Neural Computing被引用数 22

ひとこと要約

本論文は、スパイク活性化とタイミングに基づくバックプロパゲーションを統合することで勾配推定を向上させる、統一された学習ルールであるANTLRを提案する。スパイク生成／削除とスパイクタイミングの調整を同時に最適化することにより、特にエネルギー効率の高い推論に不可欠な低スパイク状態において、従来手法よりも高い精度と効率を達成する。

ABSTRACT

For the gradient computation across the time domain in Spiking Neural Networks (SNNs) training, two different approaches have been independently studied. The first is to compute the gradients with respect to the change in spike activation (activation-based methods), and the second is to compute the gradients with respect to the change in spike timing (timing-based methods). In this work, we present a comparative study of the two methods and propose a new supervised learning method that combines them. The proposed method utilizes each individual spike more effectively by shifting spike timings as in the timing-based methods as well as generating and removing spikes as in the activation-based methods. Experimental results showed that the proposed method achieves higher performance in terms of both accuracy and efficiency than the previous approaches.

研究の動機と目的

• スパイク活性化とタイミングを別々に扱う従来の勾配ベースの訓練手法がSNNに抱える限界に対処すること。
• 活性化ベースとタイミングベースの学習ルールを統合し、より正確な勾配計算フレームワークを一つのものに統合すること。
• エネルギー効率の良い推論に不可欠な低スパイク数条件下でのSNN性能を向上させること。
• スパイクの存在とタイミングを同時に調整することで、個々のスパイクの利用をより効果的に行えるようにすること。
• 両方の学習パラダイムを組み合わせることで、MNIST や N-MNIST などのベンチマークタスクで優れたパフォーマンスを達成できることを示すこと。

提案手法

• スパイク活性化の変化とスパイクタイミングのシフトからの勾配を統合する統一された学習ルールANTLRを提案する。
• スパイク関数の非微分性に対処するため、サーロウジック勾配アプローチを用い、タイムステップをまたがるバックプロパゲーションを可能にする。
• スパイクの有無（活性化ベース）と、既存スパイクの正確なタイミング（タイミングベース）からの勾配寄与をそれぞれ導出する。
• 組み合わせた勾配を用いてシナプス重みを更新し、スパイク生成と時間的精度の両方を同時に最適化可能にする。
• RNN風の再帰構造とスパイク応答カーネルの定式化を用いた、漏れ積分・放電（LIF）ニューロンモデルを用いて時間的ダイナミクスを表現する。
• 膜電位を過去のスパイクの重み付き和として表すスパイク応答カーネル ε[τ] を用い、解析的勾配計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低スパイク状態下での勾配精度とパフォーマンスの観点から、活性化ベースとタイミングベースの学習ルールはどのように比較されるか？
• RQ2 活性化ベースとタイミングベースの勾配を組み合わせることで、より正確で効率的なSNN訓練が可能になるか？
• RQ3 スパイク密度が、分離されたルールと統一されたルールのパフォーマンスに与える影響は何か？
• RQ4 エネルギー効率を考慮してスパイク数が制限される状況でも、統一されたANTLRルールは従来手法を上回る性能を示すか？
• RQ5 提案手法は、スパイク生成、削除、タイミングシフトといった個々のスパイク状態の変化をどのように処理するか？

主な発見

• ANTLRは、MNISTおよびN-MNISTデータセットにおいて、スパイク数が制限された状況でも、活性化ベースおよびタイミングベースの手法よりも高い精度を達成した。
• N-MNISTタスクにおいて単一スパイク制限下でも、ANTLRは高い精度を維持したが、活性化ベース手法は複数スパイクに依存するため著しく性能が低下した。
• タイミングベース手法も単一スパイク条件下で改善したが、ANTLRは両方のメカニズムを効果的に統合することで、それを上回った。
• ANTLRは、同等またはより高いパフォーマンスを達成するために、活性化ベース手法よりも少ない合計スパイク数で済ませた。これは、より優れたサンプル効率を示している。
• 実験の結果、従来の高精度SNNの結果は、高スパイク数に支えられていた可能性が示された。ANTLRは、低スパイク状態下でも強力なパフォーマンスを発揮した。
• 分析により、活性化ベースとタイミングベースの手法は補完的であることが確認された：前者は複数スパイク状況で優れた性能を発揮し、後者は単一スパイク状態で優位性を示した。