[論文レビュー] A Tandem Learning Rule for Effective Training and Rapid Inference of Deep Spiking Neural Networks

Jibin Wu, Yansong Chua+4 more|arXiv (Cornell University)|Jul 2, 2019

Advanced Memory and Neural Computing参考文献 75被引用数 16

ひとこと要約

本稿では、スパikingニューラルネットワーク（SNN）と微分可能アーティフィシャルニューラルネットワーク（ANN）を結合するためのタンデム学習ルールを提案する。この手法により、SNNの効果的なバックプロパゲーション学習が可能となり、重み共有とANNによるSNNスパイク数の近似を用いることで、最先端のSNNと比較して推論時間とシナプス操作を少なくとも10倍削減した高精度な分類性能を達成する。

ABSTRACT

Spiking neural networks (SNNs) represent the most prominent biologically inspired computing model for neuromorphic computing (NC) architectures. However, due to the non-differentiable nature of spiking neuronal functions, the standard error back-propagation algorithm is not directly applicable to SNNs. In this work, we propose a tandem learning framework, that consists of an SNN and an Artificial Neural Network (ANN) coupled through weight sharing. The ANN is an auxiliary structure that facilitates the error back-propagation for the training of the SNN at the spike-train level. To this end, we consider the spike count as the discrete neural representation in the SNN, and design ANN neuronal activation function that can effectively approximate the spike count of the coupled SNN. The proposed tandem learning rule demonstrates competitive pattern recognition and regression capabilities on both the conventional frame-based and event-based vision datasets, with at least an order of magnitude reduced inference time and total synaptic operations over other state-of-the-art SNN implementations. Therefore, the proposed tandem learning rule offers a novel solution to training efficient, low latency, and high accuracy deep SNNs with low computing resources.

研究の動機と目的

• スパikingニューロンの非微分可能特性による、深層SNNの学習の難しさに対処すること。
• 微分可能なANNをサーヴェイとして用いて勾配計算のための近似を実現し、SNNの効果的なバックプロパゲーション学習を可能にすること。
• エネルギー制限のある神経形態的ハードウェアに適した、低遅延かつ高精度なSNNの推論を達成すること。
• スパースなスパイク活動と効率的な重み共有を活用することで、シナプス操作と推論時間を削減すること。

提案手法

• SNNとANNが同じ重みを共有するターミナルネットワークアーキテクチャを設計し、微分可能なANNを通じて勾配の流れを可能にする。
• SNNにおける離散的ニューロン表現としてスパイク数を用い、ANNの活性化関数はこのスパイク数を特に近似するように設計されている。
• 誤差のバックプロパゲーションはANNで実行され、非微分可能なスパイキング関数に対する直接的な勾配計算なしに、SNNの効率的かつメモリ効率の良い学習が可能になる。
• 訓練の安定化と深層SNNにおける効果的な情報伝達を確保するため、バッチ正規化を用いている。
• 時間ウィンドウサイズを最適化し、情報の効率的表現を実現することで、最小限の時間ステップで高速推論が可能になる。
• 汎用性を示すために、フレームベース（例：CIFAR-10）およびイベントベース（例：DVS128 Gesture）のデータセットの両方でフレームワークを評価した。

実験結果

リサーチクエスチョン

• RQ1 微分可能なANNサーヴェイが、結合されたSNNのスパイク数を効果的に近似できるか。
• RQ2 タンデム学習ルールが、標準的なビジョンベンチマークで競争力のある分類精度を達成するとともに、高速推論を可能にするか。
• RQ3 既存のSNN学習手法と比較して、タンデム手法がどの程度シナプス操作と推論時間を削減できるか。
• RQ4 訓練中にSNNスパイク数とANN活性化の関係がどの程度保持されているか。
• RQ5 タンデムルールは時系列学習をサポートできるか、それとも率ベース分類に限定されるか。

主な発見

• タンデムルールで学習されたSNNは、CIFAR-10およびDVS128 Gestureデータセットで、最先端のSNNと同等の競争力のある分類精度を達成した。
• 他のSNN実装と比較して、推論時間が少なくとも10倍短縮され、最適な精度に到達するのに必要な時間ステップ数も顕著に減少した。
• スパースな活動と短いエンコードウィンドウのおかげで、ベースラインのANNおよび他のSNN手法と比較して、合計のシナプス操作が少なくとも10倍削減された。
• 訓練全体を通じて、ANNの活性化とSNNスパイク数のコサイン距離が小さく保たれており、高次元表現における強い整合性が示された。
• 重み-活性化ドット積の間に強い正のピアソン相関が観察され、線形関係が良好に保持されていることが確認された。
• エネルギー効率性に優れ、SynOps比が1未満の状況ではSNNがANNよりも効率的であり、VGGNet-9においても既存のSNNと比較して少なくとも10倍の高い効率性を達成した。