[論文レビュー] Training Energy-Efficient Deep Spiking Neural Networks with Time-to-First-Spike Coding

Seongsik Park, Sungroh Yoon|arXiv (Cornell University)|Jun 4, 2021

Advanced Memory and Neural Computing参考文献 43被引用数 5

ひとこと要約

本論文は、時間による最初のスパイク到達（TTFS）符号化を用いて、高エネルギー効率を達成するための深層スパイクニューラルネットワーク（SNN）のトレーニングフレームワークを提案する。スパイクカウントを、最先端のTSC符号化と比較して最大77％まで削減しつつ、CIFAR-10で競争力ある精度を維持するため、確率的緩和された活性化を備えた補間DNNモデル、時間的カーネル正則化、時間的カーネルに配慮したバッチ正則化を導入することで、この手法は実現された。

ABSTRACT

The tremendous energy consumption of deep neural networks (DNNs) has become a serious problem in deep learning. Spiking neural networks (SNNs), which mimic the operations in the human brain, have been studied as prominent energy-efficient neural networks. Due to their event-driven and spatiotemporally sparse operations, SNNs show possibilities for energy-efficient processing. To unlock their potential, deep SNNs have adopted temporal coding such as time-to-first-spike (TTFS)coding, which represents the information between neurons by the first spike time. With TTFS coding, each neuron generates one spike at most, which leads to a significant improvement in energy efficiency. Several studies have successfully introduced TTFS coding in deep SNNs, but they showed restricted efficiency improvement owing to the lack of consideration for efficiency during training. To address the aforementioned issue, this paper presents training methods for energy-efficient deep SNNs with TTFS coding. We introduce a surrogate DNN model to train the deep SNN in a feasible time and analyze the effect of the temporal kernel on training performance and efficiency. Based on the investigation, we propose stochastically relaxed activation and initial value-based regularization for the temporal kernel parameters. In addition, to reduce the number of spikes even further, we present temporal kernel-aware batch normalization. With the proposed methods, we could achieve comparable training results with significantly reduced spikes, which could lead to energy-efficient deep SNNs.

研究の動機と目的

• イベント駆動的かつスパースな計算が可能なSNNの潜在的利点にもかかわらず、そのエネルギー効率が限られている問題に取り組む。
• 従来の方法がバックプロパゲーション中にエネルギー効率を考慮しないことから、TTFS符号化SNNにおける非効率なトレーニングの課題を克服する。
• TTFS符号化を用いた深層SNNの直接トレーニングを可能にするスケーラブルで微分可能なトレーニングフレームワークを構築し、スパイク数を最小限に抑える。
• 神経モニタハードウェア上でエネルギー効率を最大化するために、顕著に低いスパイク活動を維持しつつ、高い推論精度を達成する。

提案手法

• 固定時間窓内でのTTFS符号化を模倣できるよう、クリッピングおよび量子化された活性化を備えた、スパイク時間ドメインで動作する計算的に効率的な補間DNNモデルを提案する。
• バックプロパゲーション中の時間的カーネルパラメータにおける勾配消失を軽減するため、確率的緩和された活性化を導入する。
• 時間的カーネルパラメータに初期値に基づく正則化を適用し、トレーニングの安定性を高めるとともにスパイク生成を削減する。
• 時間的カーネル構造に適応する時間的カーネルに配慮したバッチ正則化を設計し、さらにスパイク数を削減する。
• 微分可能な近似を用いて、エンドツーエンドのバックプロパゲーションが可能な補間モデル上で確率的勾配降下法（SGD）を用いてSNNをトレーニングする。
• トレーニング済みの補間モデルを、IFニューロンとTTFS符号化を備えた実際のSNNにマッピングし、推論時に低いスパイク活動を保持する。

実験結果

リサーチクエスチョン

• RQ1 TTFS符号化を用いた深層SNNを、エネルギー効率を最大化するためにスパイク数を最小限に抑えつつ高い精度を維持できるようにトレーニングするには、どのようなアプローチが有効か？
• RQ2 TTFSベースSNNトレーニングにおける時間的カーネルパラメータの勾配消失の主な原因は何か。また、それらをどのように緩和できるか？
• RQ3 時間的カーネル正則化は、TTFS符号化SNNにおけるトレーニングの安定性とスパイク効率にどのように影響を与えるか？
• RQ4 時間的カーネルに配慮したバッチ正則化は、モデル精度を劣化させることなく、スパイク数をどの程度まで削減できるか？
• RQ5 本手法のトレーニングフレームワークは、レート、位相、バースト、またはTSC符号化を用いた既存のSNNトレーニング手法と比較して、エネルギー効率と精度の両面でどの程度優れているか？

主な発見

• 本手法はCIFAR-10で1サンプルあたり27.80スパイクを達成し、類似精度の前例のTTFS研究（29.94スパイク）と比較して30％の削減を達成した。
• スパイクレートは0.03％まで低下し、TSCの24％、前例のTTFS手法の89％にまで低下しており、顕著にスパースな活性化が実現された。
• スパarsity（ニューロン1つあたりの平均スパイク数）は17％であり、TSCの25％、前例のTTFS手法の71％に相当し、時間的効率の向上が確認された。
• エネルギー消費量はTSCと比較して最大54％、前例のTTFS手法と比較して最大77％削減されたと推定され、顕著なエネルギー効率の向上が示された。
• CIFAR-10における精度は2％低下（65.98％ vs. 68.79％）したが、スパイク数は著しく低減され、ピーク精度を犠牲にしてもエネルギー効率を最優先した。
• 確率的緩和された活性化と時間的カーネル正則化により、トレーニングが安定し、TTFS環境下での効果的なバックプロパゲーションが可能になった。