[論文レビュー] Supervised training of spiking neural networks for robust deployment on mixed-signal neuromorphic processors

Muir, Dylan|arXiv (Cornell University)|Jan 1, 2021

Advanced Memory and Neural Computing参考文献 64被引用数 24

ひとこと要約

この論文は、個々のチップキャリブレーションを必要とせず、ミックスドシグナルニューロモーフィックハードウェア上で頑健な性能を達成するスパイクニューラルネットワーク（SNN）の教師あり学習手法を提案する。制御理論から導出された局所的学習ルールを用いて、事前に訓練された再帰的ニューラルネットワーク（RNN）を模倣することで、SNNはデバイス不一致、熱雑音、量子化に対して耐性を持つようになり、最小限のハードウェアオーバーヘッドでエネルギー効率の高いニューロモーフィックチップ上に信頼性高くデプロイ可能になる。

ABSTRACT

Mixed-signal analog/digital circuits emulate spiking neurons and synapses with extremely high energy efficiency, an approach known as “neuromorphic engineering”. However, analog circuits are sensitive to process-induced variation among transistors in a chip (“device mismatch”). For neuromorphic implementation of Spiking Neural Networks (SNNs), mismatch causes parameter variation between identically-configured neurons and synapses. Each chip exhibits a different distribution of neural parameters, causing deployed networks to respond differently between chips. Current solutions to mitigate mismatch based on per-chip calibration or on-chip learning entail increased design complexity, area and cost, making deployment of neuromorphic devices expensive and difficult. Here we present a supervised learning approach that produces SNNs with high robustness to mismatch and other common sources of noise. Our method trains SNNs to perform temporal classification tasks by mimicking a pre-trained dynamical system, using a local learning rule from non-linear control theory. We demonstrate our method on two tasks requiring temporal memory, and measure the robustness of our approach to several forms of noise and mismatch. We show that our approach is more robust than common alternatives for training SNNs. Our method provides robust deployment of pre-trained networks on mixed-signal neuromorphic hardware, without requiring per-device training or calibration.

研究の動機と目的

• ミックスドシグナルニューロモーフィックプロセッサにおけるデバイス不一致の課題に取り組み、チップ間でのSNN性能の低下を是正すること。
• 個々のデバイスに合わせた高コストなキャリブレーションやオンチップ学習を不要にするために、パrameterの変動に inherently ロバストなSNNのトレーニングを可能にすること。
• 後処理適応なしに、事前に訓練されたSNNをニューロモーフィックハードウェアに信頼性高くデプロイできること。
• 時間的分類タスクに適した、知識蒸留と局所的学習ルールを組み合わせたトレーニングフレームワークの開発。

提案手法

• ターゲットの時間的分類または回帰タスクを解けるように、バックプロパゲーションスルータイム（BPTT）を用いて非スパイクレートRNNを訓練する。
• RNNの内部ダイナミクスを教師システムとして、非線形制御理論にインspiredされた局所的学習ルールを用いてSNNを訓練する。
• 漏れあり積分・放電（LIF）ニューロンとバランスの取れた高速/遅速再帰的重みを用いたSNNを実装し、安定性とロバストネスを確保する。
• SNNの出力と教師RNNの隠れ状態の差を最小化するために、減衰するフィードバックレートを用いたフィードバック誤差補正を適用する。
• 知識蒸留を用い、SNNがRNNの隠れ状態ダイナミクスを再現するように訓練することで、タスク性能の維持を保証する。
• デバイス不一致、熱雑音、量子化を模倣するためにトレーニング中にノイズを注入し、ハードウェアの不完全性に対する一般化能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師ありトレーニング手法が、個別チップキャリブレーションやオンチップ学習を必要とせずに、デバイス不一致に対して頑健なSNNを生成できるか？
• RQ2 本手法は、パrameterの変動や雑音に対して、標準的なSNNトレーニング手法と比較してどの程度ロバストか？
• RQ3 レートRNNからの知識蒸留により、ハードウェアが課す雑音下でもSNNが時間的タスクで高い性能を維持できるか？
• RQ4 制御理論に由来する局所的学習ルールを用いることで、任意の教師ありタスクに対するSNNの有効なトレーニングが可能になるか？
• RQ5 実際のミックスドシグナルニューロモーフィックハードウェア（既知のパrameter不一致を有する）にデプロイされたSNNが、正確性を維持できるか？

主な発見

• 本手法は、標準的なSNNトレーニング手法と比較して、デバイス不一致（最大20％まで）に対して顕著に高いロバストネスを示し、性能劣化が最小限に抑えられる。
• 本手法でトレーニングされたSNNは、シナプス重みをたった2ビットに量子化しても高い精度を維持しており、低精度実装に対する耐性を示している。
• 熱雑音に対してもロバストで、高雑音レベル（σ = 0.1）でも性能劣化が低く抑えられ、実ハードウェアへの適性が示された。
• 40％のニューロンが無効化されてもSNNは安定かつ正確に動作し、ニューロンドロップアウトやハードウェア故障に対する耐性を示した。
• DYNAP™-SE1ニューロモーフィックハードウェア上に、わずか7.6 µWの動的消費電力と30 µWの静的消費電力で信頼性高くデプロイ可能で、超低消費電力が実現された。
• 不一致、量子化、熱雑音のすべてのテスト条件下で、ベースライン手法を上回る性能を示し、一般化能力の高さが確認された。