[論文レビュー] Online Training Through Time for Spiking Neural Networks

Mingqing Xiao, Qingyan Meng+3 more|arXiv (Cornell University)|Oct 9, 2022

Advanced Memory and Neural Computing被引用数 29

ひとこと要約

本論文は SNN のための Online Training Through Time (OTTT) を提案し、定常メモリでの前向き時間学習を可能にし、BPTT と surrogate gradients をスパイク表現に結びつけ、理論的な降下保証と Hebbian に近い更新を提供する。

ABSTRACT

Spiking neural networks (SNNs) are promising brain-inspired energy-efficient models. Recent progress in training methods has enabled successful deep SNNs on large-scale tasks with low latency. Particularly, backpropagation through time (BPTT) with surrogate gradients (SG) is popularly used to achieve high performance in a very small number of time steps. However, it is at the cost of large memory consumption for training, lack of theoretical clarity for optimization, and inconsistency with the online property of biological learning and rules on neuromorphic hardware. Other works connect spike representations of SNNs with equivalent artificial neural network formulation and train SNNs by gradients from equivalent mappings to ensure descent directions. But they fail to achieve low latency and are also not online. In this work, we propose online training through time (OTTT) for SNNs, which is derived from BPTT to enable forward-in-time learning by tracking presynaptic activities and leveraging instantaneous loss and gradients. Meanwhile, we theoretically analyze and prove that gradients of OTTT can provide a similar descent direction for optimization as gradients based on spike representations under both feedforward and recurrent conditions. OTTT only requires constant training memory costs agnostic to time steps, avoiding the significant memory costs of BPTT for GPU training. Furthermore, the update rule of OTTT is in the form of three-factor Hebbian learning, which could pave a path for online on-chip learning. With OTTT, it is the first time that two mainstream supervised SNN training methods, BPTT with SG and spike representation-based training, are connected, and meanwhile in a biologically plausible form. Experiments on CIFAR-10, CIFAR-100, ImageNet, and CIFAR10-DVS demonstrate the superior performance of our method on large-scale static and neuromorphic datasets in small time steps.

研究の動機と目的

• 低レイテンシかつオンライン学習特性を備えたスパイキングニューラルネットワーク(SNN)の効率的な訓練を動機付ける。
• 性能を維持しつつ BPTT の高いメモリコストを回避する訓練法を開発する。
• OTTT とスパイク表現ベースの手法との理論的な関係を確立し、降下方向を保証する。
• OTTT が生物学的に妥当な三要素 Hebbian 学習とオンチップ学習に整合することを示す。
• 大規模静的データセットとニューロモルフィックデータセットで有効性を示す。

提案手法

• 時系列依存性を分離し、前シナプス活動を追跡することで前方時間の勾配計算を可能にし、BPTT から OTTT を導出する。
• 各時間ステップで瞬時の損失と勾配を計算し、時を超えた誤伝搬を回避する。
• OTTT 勾配が順伝播および再帰的条件下でスパイク表現に基づく勾配と同様の降下方向を提供することを証明する。
• 更新を三要素 Hebbian 学習則として定式化し、オンチップのオンライン学習を可能にする。
• noBatchNorm を用い、ニューロモルフィックハードウェア上で正規化不要の訓練を支援するためにスケーリング済み重み標準化（sWS）を適用する。
• オンライン版（OTTT O）と蓄積勾配版（OTTT A）の両方を提供し、実装ガイドを詳述する。

実験結果

リサーチクエスチョン

• RQ1 SNN のオンライン前向き時間学習は、BPTTと比較して一定のメモリコストで競争力のある性能を達成できるか。
• RQ2 OTTT 勾配は、順伝播および再帰ダイナミクスの下で、スパイク表現に基づく勾配と類似の降下方向を提供するか。
• RQ3 OTTT はオンチップ学習に適した生物学的に妥当な三要素 Hebbian 更新スキームと互換性があるか。
• RQ4 低時間ステップ潜在 latency で大規模静的データセットおよびニューロモルフィックデータセットでの OTTT の性能はどうか。

主な発見

Dataset	Method	Network structure	Params	Time steps	Mean ± Std (Best)
CIFAR-10	ANN-SNN	VGG-16	40M	16	92.29%
CIFAR-10	BPTT	ResNet-19 (tdBN)	14.5M	6	93.16%
CIFAR-10	BPTT	9-layer CNN (PLIF, BN)	36M	8	93.50%
CIFAR-10	BPTT	VGG (sWS)	9.2M	6	92.78% (93.23%)
CIFAR-10	OTTT A (ours)	VGG (sWS)	9.2M	6	93.52% (93.58%)
CIFAR-10	OTTT O (ours)	VGG (sWS)	9.2M	6	93.49% (93.73%)
CIFAR-10	ANN	VGG (sWS)	9.2M	N.A.	94.43%

• OTTT は CIFAR-10、CIFAR-100、ImageNet、CIFAR10-DVS で少数の時間ステップでも競争力のある精度を達成する。
• OTTT は学習メモリを時間ステップとともに直線的に増加する（BPTT）から一定のメモリコストに削減し、同じリソースでより大きな効果的バッチサイズを可能にする。
• 理論分析は、OTTT 勾配が収束入力下で順伝播および再帰ネットワークのスパイク表現ベース勾配と比較可能な降下方向を提供することを示す。
• OTTT の更新は三要素 Hebbian 学習則として見ることができ、ニューロモルフィックハードウェア上でのオンライン・オンチップ学習の実現可能性を示唆する。
• 経験的結果は、いくつかのベースライン（いくつかの BPTT 変種を含む）に対して、6つの時間ステップ程度で多くのケースで強い性能優位を示す。
• 本手法は BPTT と SG およびスパイク表現ベースの訓練を橋渡しし、ニューロモルフィックシステムに適したオンライン学習を維持する。