[論文レビュー] SpikeDyn: A Framework for Energy-Efficient Spiking Neural Networks with Continual and Unsupervised Learning Capabilities in Dynamic Environments

Rachmad Vidya Wicaksana Putra, Muhammad Shafique|arXiv (Cornell University)|Feb 28, 2021

Advanced Memory and Neural Computing参考文献 31被引用数 31

ひとこと要約

SpikeDyn は、動的環境における継続的・教師なし学習を可能にする、エネルギー効率の良いスパイクニューラルネットワーク（SNN）のための新規フレームワークである。直接的な側方抑制を用いて抑制性ニューロンを排除することでエネルギー消費を低減し、メモリおよびエネルギー制約下での解析的 SNN モデル探索を実装するとともに、動的閾値と重み減衰を備えた適応学習アルゴリズムを採用している。これにより、最先端技術と比較して学習時のエネルギー消費を 51% 割り、推論時のエネルギー消費を 37% 割り、最近学習したタスクにおける精度を 21% 向上させた。

ABSTRACT

Spiking Neural Networks (SNNs) bear the potential of efficient unsupervised and continual learning capabilities because of their biological plausibility, but their complexity still poses a serious research challenge to enable their energy-efficient design for resource-constrained scenarios (like embedded systems, IoT-Edge, etc.). We propose SpikeDyn, a comprehensive framework for energy-efficient SNNs with continual and unsupervised learning capabilities in dynamic environments, for both the training and inference phases. It is achieved through the following multiple diverse mechanisms: 1) reduction of neuronal operations, by replacing the inhibitory neurons with direct lateral inhibitions; 2) a memory- and energy-constrained SNN model search algorithm that employs analytical models to estimate the memory footprint and energy consumption of different candidate SNN models and selects a Pareto-optimal SNN model; and 3) a lightweight continual and unsupervised learning algorithm that employs adaptive learning rates, adaptive membrane threshold potential, weight decay, and reduction of spurious updates. Our experimental results show that, for a network with 400 excitatory neurons, our SpikeDyn reduces the energy consumption on average by 51% for training and by 37% for inference, as compared to the state-of-the-art. Due to the improved learning algorithm, SpikeDyn provides on avg. 21% accuracy improvement over the state-of-the-art, for classifying the most recently learned task, and by 8% on average for the previously learned tasks.

研究の動機と目的

• IoT やエッジデバイスなどのリソース制約があり動的である環境に、継続的・教師なし学習が可能なエネルギー効率の良い SNN を実装する課題に対処すること。
• 複雑なアーキテクチャと非効率な学習ルールにより、高いエネルギー消費、深刻な記憶の消失（catastrophic forgetting）、誤った重み更新が生じる既存の SNN の限界を克服すること。
• 厳密なメモリおよびエネルギー制約下で、学習段階と推論段階の両方を最適化し、順次に学習するタスクにおいても高い精度を維持するフレームワークを設計すること。
• 再学習や記憶の消失を伴わずに、動的状況における新しいラベルなしデータへのリアルタイム適応を可能にすること。
• 推定されたメモリ使用量とエネルギー消費量に基づき、パレート最適な構成を特定する、軽量で解析的な SNN モデル探索を実現すること。

提案手法

• 学習時および推論時におけるニューロン処理とエネルギー消費を削減するため、従来の抑制性ニューロンの代わりに直接的な側方抑制接続を導入する。
• ネットワークパラメータ、ビット精度、入力処理エネルギー、サンプル数を用いて、メモリ容量とエネルギー消費を推定する解析的 SNN モデル探索アルゴリズムを実装し、パレート最適なモデルを選択する。
• 適応的学習率、動的膜電位閾値、重み減衰を備えた軽量な継続的・教師なし学習アルゴリズムを導入し、誤った更新を低減し、記憶の消失を防止する。
• 学習中にあまり関連性のないニューロンを選択的に不活性化する閾値適応メカニズムを適用し、重要な旧来の情報を保持する。
• 合成シナプス重みの安定化とオンライン学習中の以前に学習した特徴の破損を避けるために、重み減衰を活用する。
• スパイク活動とタスク進行状況に基づいて動的に学習率を調整する戦略を導入し、収束性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 直接的な側方抑制が SNN における抑制性ニューロンの代替手段として機能し、学習性能を劣化させることなくエネルギー消費を低減できるか？
• RQ2 メモリおよびエネルギー制約下で、解析的モデル探索アルゴリズムが効果的にパレート最適な SNN 構成を特定できるか？
• RQ3 適応的学習率、動的閾値、重み減衰が、動的データストリーム下での継続的・教師なし SNN 学習における精度向上にどの程度寄与するか？
• RQ4 提案されたフレームワークは、ラベルなしデータを含むオンライン学習シナリオにおいて、記憶の消失と誤った更新をどの程度軽減できるか？
• RQ5 SpikeDyn は、動的および非動的環境下で、最先端の SNN と比較してエネルギーと精度のトレードオフはどのようになるか？

主な発見

• SpikeDyn は、最先端の SNN と比較して、学習時の平均エネルギー消費を 51% 割り、推論時のエネルギー消費を 37% 割り、エネルギー効率を向上させた。
• 特に順次タスク学習を行う動的環境下で、最近学習したタスクにおいて、最先端技術と比較して 21% の精度向上を達成した。
• 平均して、SpikeDyn は以前に学習したタスクの精度を 8% 向上させ、古い知識の保持が効果的で、記憶の消失が抑制されていることを示した。
• 大規模ネットワーク（N400）では、学習時のエネルギー消費が最大 66% 割り、推論時のエネルギー消費が最大 54% 割り、Jetson Nano などの埋め込み GPU でも顕著な向上が得られた。
• 混同行列の結果、数字「4」と「9」は特徴の重複により頻繁に誤分類されるが、SpikeDyn は適応的閾値と重み減衰によりこのような誤りを低減した。
• 非動的環境下でも、SpikeDyn は誤った更新を最小限に抑え、重み調整を最適化することで、最先端手法と同等の精度を維持した。