[論文レビュー] Revisiting Batch Normalization for Training Low-latency Deep Spiking Neural Networks from Scratch

Youngeun Kim, Priyadarshini Panda|arXiv (Cornell University)|Oct 5, 2020

Advanced Memory and Neural Computing被引用数 14

ひとこと要約

本稿では、スパイクニューラルネットワーク（SNNs）における時間的バッチ正則化パラメータの時間ステップ間での分離を実現する、Batch Normalization Through Time（BNTT）という新しい時間的バッチ正則化技術を提案する。BNTTは、学習可能な時間変動パラメータを用いてスパイクダイナミクスを捉え、25–30時間ステップで深層SNNのエンドツーエンド学習を可能にし、CIFAR-10で90.5%の精度を達成するとともに、従来手法と比較して遅延とエネルギー消費を顕著に低減する。

ABSTRACT

Spiking Neural Networks (SNNs) have recently emerged as an alternative to deep learning owing to sparse, asynchronous and binary event (or spike) driven processing, that can yield huge energy efficiency benefits on neuromorphic hardware. However, training high-accuracy and low-latency SNNs from scratch suffers from non-differentiable nature of a spiking neuron. To address this training issue in SNNs, we revisit batch normalization and propose a temporal Batch Normalization Through Time (BNTT) technique. Most prior SNN works till now have disregarded batch normalization deeming it ineffective for training temporal SNNs. Different from previous works, our proposed BNTT decouples the parameters in a BNTT layer along the time axis to capture the temporal dynamics of spikes. The temporally evolving learnable parameters in BNTT allow a neuron to control its spike rate through different time-steps, enabling low-latency and low-energy training from scratch. We conduct experiments on CIFAR-10, CIFAR-100, Tiny-ImageNet and event-driven DVS-CIFAR10 datasets. BNTT allows us to train deep SNN architectures from scratch, for the first time, on complex datasets with just few 25-30 time-steps. We also propose an early exit algorithm using the distribution of parameters in BNTT to reduce the latency at inference, that further improves the energy-efficiency.

研究の動機と目的

• スパイクニューロンの非微分可能特性により、高精度で低遅延なSNNのエンドツーエンド学習が困難であるという課題に対処すること。
• 標準バッチ正則化が時間ステップ間でパラメータを共有するため、SNNでは時間的ダイナミクスを捉えることができないという制限を克服すること。
• サロゲート勾配バックプロパゲーションを用いて、CIFAR-100 や Tiny-ImageNet といった複雑なデータセット上で深層SNNアーキテクチャのエンドツーエンド学習を可能にすること。
• 時間的に分離されたパラメータを用いて時間適応型スパイクレート制御を学習することで、エネルギー効率の向上と推論遅延の低減を実現すること。
• BNTTを用いたSNNの時間的ダイナミクスを活用することで、敵対的攻撃に対する耐性を向上させること。

提案手法

• 時間軸に沿ってバッチ正則化パラメータを分離するSNN特化型の新規バッチ正則化レイヤー「Batch Normalization Through Time（BNTT）」を提案する。
• BNTTに時間変動型で学習可能なパラメータを導入し、ニューロンが異なる時間ステップでスパイクレートを適応的に制御できるようにする。
• BNTTをSNNに追加レイヤーとして実装し、時間的スパイクダイナミクスの最適化を目的にサロゲート勾配バックプロパゲーションにより学習する。
• BNTTパラメータの分布に基づく早期終了推論戦略を設計し、遅延の低減とさらに高いエネルギー効率を実現する。
• 標準BNとは異なり、各時間ステップごとに独立してバッチ統計を計算する時間的正則化スキームを採用する。
• サロゲート勾配手法と併用することで、画像分類ベンチマーク上での深層SNNのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準バッチ正則化は、SNNにおけるスパイク活動の時間的ダイナミクスを効果的に捉えることができるか？
• RQ2 時間的に分離されたバッチ正則化技術は、複雑なデータセット上で深層SNNのエンドツーエンド学習をエンドツーエンドで可能にするか？
• RQ3 BNTTは、既存のSNN学習手法と比較して推論遅延とエネルギー消費を低減するか？
• RQ4 BNTTは、標準的なSNN学習手法と比較して、敵対的攻撃に対する耐性を向上させるか？
• RQ5 SNNの文脈において、BNTTはレイヤー正則化（Layer Normalization）などの代替正則化手法と比較して優れているか？

主な発見

• BNTTは、CIFAR-10、CIFAR-100、Tiny-ImageNet、DVS-CIFAR10の各データセット上で、25–30時間ステップで深層SNNのエンドツーエンド学習をエンドツーエンドで可能にする。
• VGG9を用いたCIFAR-10では、25時間ステップでトップ-1精度90.5%を達成し、変換法（1000時間ステップ、91.2%）とサロゲート勾配法（100時間ステップ、88.7%）を上回る性能を示す。
• CIFAR-10において、BNTTは変換法と比較してスパイク数を96.9%、サロゲート勾配学習と比較して90.8%削減する。
• 神経形状ハードウェア（TrueNorth）上では、BNTTが正規化エネルギー消費0.0312を達成し、変換ベースライン比で96.9%の削減を実現する。
• FGSM敵対的攻撃に対して、BNTTは標準的なサロゲート勾配法および変換ベースSNNと比較して、攻撃強度が変化する中でも高い精度を維持する。
• CIFAR-10において、BNTTはレイヤー正則化（LN）と比較して90.5%の精度を達成するのに対し、LNは75.4%にとどまる。これは、BNTTが時間的スパイクダイナミクスをモデル化する上で優れていることを確認する。