[論文レビュー] Spike-Timing-Dependent Back Propagation in Deep Spiking Neural Networks

Malu Zhang, Jiadong Wang+6 more|arXiv (Cornell University)|Mar 26, 2020

Advanced Memory and Neural Computing被引用数 20

ひとこと要約

本論文は、スパイクの到着時刻を用いた時間的符号化により、効率的でイベント駆動型のバックプロパゲーションを可能にする、深層スパイクニューラルネットワーク（DSNNs）のための新しい学習アルゴリズムであるスパイクタイミング依存バックプロパゲーション（STDBP）を提案する。この手法は、整流線形シナプス後膜電位（ReL-PSP）関数を用い、スパイク時刻に基づくSNN学習における最先端の性能を達成しており、スパイク時刻がシナプス可塑性および意思決定において果たす重要な役割を示している。

ABSTRACT

The success of Deep Neural Networks (DNNs) can be attributed to its deep structure, that learns invariant feature representation at multiple levels of abstraction. Brain-inspired Spiking Neural Networks (SNNs) use spatiotemporal spike patterns to encode and transmit information, which is biologically realistic, and suitable for ultra-low-power event-driven neuromorphic implementation. Therefore, Deep Spiking Neural Networks (DSNNs) represent a promising direction in artificial intelligence, with the potential to benefit from the best of both worlds. However, the training of DSNNs is challenging because standard error back-propagation (BP) algorithms are not directly applicable. In this paper, we first establish an understanding of why error back-propagation does not work well in DSNNs. To address this problem, we propose a simple yet efficient Rectified Linear Postsynaptic Potential function (ReL-PSP) for spiking neurons and propose a Spike-Timing-Dependent Back-Propagation (STDBP) learning algorithm for DSNNs. In the proposed learning algorithm, the timing of individual spikes is used to carry information (temporal coding), and learning (back-propagation) is performed based on spike timing in an event-driven manner. Experimental results demonstrate that the proposed learning algorithm achieves state-of-the-art performance in spike time based learning algorithms of SNNs. This work investigates the contribution of dynamics in spike timing to information encoding, synaptic plasticity and decision making, providing a new perspective to design of future DSNNs.

研究の動機と目的

• 標準的なバックプロパゲーションがスパイクニューロンのダイナミクスと不適合であるため、深層スパイクニューラルネットワーク（DSNNs）の学習に直面する課題に対処すること。
• 従来の誤差バックプロパゲーションが、スパイクイベントの非微分可能性のためSNNで失敗する理由を理解すること。
• スパイク時刻を情報のキャリアとして用いることで、バックプロパゲーションを可能にする効率的で生物学的に妥当な学習アルゴリズムを開発すること。
• スパイク時刻ダイナミクスがDSNNにおける情報符号化、シナプス可塑性、意思決定に顕著に寄与することを示すこと。

提案手法

• バックプロパゲーションに適した微分可能な計算を可能にするために、スパイクニューロンのシナプス後膜電位をモデル化するための整流線形シナプス後膜電位（ReL-PSP）関数を提案する。
• 個々のスパイクの正確な到着時刻を用いて勾配を計算するイベント駆動型のスパイクタイミング依存バックプロパゲーション（STDBP）アルゴリズムを設計する。
• 連続的な活性化値に基づく重み更新を、スパイク時刻に基づくものに置き換えることで、バックプロパゲーションを再設計し、時間的符号化の忠実性を保持する。
• スパイク関数の非微分可能性を克服するために、スパイクイベントの微分可能な近似を導入する。
• 情報がスパイクの正確な時刻に符号化される時間的符号化を採用し、生物学的妥当性および低消費電力ニューロモーフィックコンピューティングと整合させる。
• スパイク時刻を主な情報キャリアとして用い、時間変動するスパイクパターンを介して誤差信号を時間的に伝搬させることで、深層構造のエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なバックプロパゲーションは、スパイクイベントの非微分的性質のためSNNで失敗するのか？
• RQ2 スパイク時刻をどのように効果的に活用することで、DSNNにおける情報伝達と勾配ベースの学習を可能にするのか？
• RQ3 スパイク時刻ダイナミクスは、深層スパイクネットワークにおけるシナプス可塑性と意思決定にどのような影響を及ぼすのか？
• RQ4 生物学的に妥当でイベント駆動型のバックプロパゲーションアルゴリズムは、時間的符号化を用いてSNNで最先端の性能を達成できるか？
• RQ5 ReL-PSP関数は、従来のPSPモデルと比較して、DSNNにおける学習安定性と性能をどのように向上させるのか？

主な発見

• 提案されたSTDBPアルゴリズムは、深層スパイクニューラルネットワークにおけるスパイク時刻ベースの学習アルゴリズムの中で最先端の性能を達成している。
• スパイク時刻を情報符号化および勾配計算に用いることで、標準BPが失敗するSNNにおいても効果的なバックプロパゲーションが可能になる。
• ReL-PSP関数は、シナプス後膜電位の微分可能で安定した近似を提供し、信頼性の高い誤差信号伝搬を可能にする。
• このアルゴリズムは、時間的符号化が情報表現を向上させるだけでなく、深層アーキテクチャにおける頑健な学習を支援することを示している。
• 実験結果は、スパイク時刻ダイナミクスがDSNNにおけるシナプス可塑性および意思決定に顕著に寄与することを確認している。
• STDBPのイベント駆動型特性は、超低消費電力ニューロモーフィックハードウェア実装に適しており、生物学的およびエネルギー効率の良いコンピューティングの目標と整合している。