[論文レビュー] RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network

Bing Han, Gopalakrishnan Srinivasan+1 more|arXiv (Cornell University)|Feb 25, 2020

Advanced Memory and Neural Computing参考文献 46被引用数 34

ひとこと要約

本論文はResidual Membrane Potential (RMP)スパイキングニューロンを用いたANN-SNN変換を提案し、ほぼ損失ゼロに近い変換とハードリセットスパイキングニューロンより大幅に低遅延を実現。VGG-16、ResNet-20/34でCIFAR-10/100およびImageNetに対して。

ABSTRACT

Spiking Neural Networks (SNNs) have recently attracted significant research interest as the third generation of artificial neural networks that can enable low-power event-driven data analytics. The best performing SNNs for image recognition tasks are obtained by converting a trained Analog Neural Network (ANN), consisting of Rectified Linear Units (ReLU), to SNN composed of integrate-and-fire neurons with "proper" firing thresholds. The converted SNNs typically incur loss in accuracy compared to that provided by the original ANN and require sizable number of inference time-steps to achieve the best accuracy. We find that performance degradation in the converted SNN stems from using "hard reset" spiking neuron that is driven to fixed reset potential once its membrane potential exceeds the firing threshold, leading to information loss during SNN inference. We propose ANN-SNN conversion using "soft reset" spiking neuron model, referred to as Residual Membrane Potential (RMP) spiking neuron, which retains the "residual" membrane potential above threshold at the firing instants. We demonstrate near loss-less ANN-SNN conversion using RMP neurons for VGG-16, ResNet-20, and ResNet-34 SNNs on challenging datasets including CIFAR-10 (93.63% top-1), CIFAR-100 (70.93% top-1), and ImageNet (73.09% top-1 accuracy). Our results also show that RMP-SNN surpasses the best inference accuracy provided by the converted SNN with "hard reset" spiking neurons using 2-8 times fewer inference time-steps across network architectures and datasets.

研究の動機と目的

• ハードリセットスパイキングニューロンによって生じるANN-SNN変換での情報損失に対処する。
• 発火後に残存膜電位を保持するソフトリセットResidual Membrane Potential (RMP)ニューロンを提案する。
• 深いSNNのほぼ損失ゼロに近い変換を可能にする閾値初期化と学習制約を開発する。
• CIFAR-10、CIFAR-100、ImageNet全体でVGG-16、ResNet-20、ResNet-34で高精度・低遅延SNNを示す。

提案手法

• 発火インスタントでV_thを減算してソフトリセットを行うResidual Membrane Potential (RMP)スパイキングニューロンを導入する (V_m <- V_m - V_th)。
• RMPは広いη範囲で入力 f_in に対して出力 f_out ≈ η f_in の線形挙動を生むことを示し、正確なANN-SNNマッピングを可能にする。
• 望ましい範囲 [f_in, 1) を保ち過度な発火を防ぐための閾値下限と上限 V_in および V_th を導出する（式6と式7）。
• 最適な精度-遅延のトレードオフのために V_in^max を用いたV_thの上限とスケール閾値 α を用いた閾値バランシングを提案する。
• 深いネットワーク向けに制約付きANNトレーニング（バッチノームとバイアスを除去）とレイヤーごとの閾値初期化を適用する。

実験結果

リサーチクエスチョン

• RQ1 ソフトリセット(RMP)ニューロンはハードリセットIFニューロンと比較して情報をどのように保全するか、ANN-SNN変換中に？
• RQ2 閾値初期化と制約付きANNトレーニングは深いネットワーク（VGG-16, ResNet-20/34）をCIFAR-10/100およびImageNetでほぼ損失ゼロに近い変換を可能にするか？
• RQ3 RMPは推論遅延と発火活動に従来のSNNと比較してどのような影響を持つか？
• RQ4 RMP-SNNでどの閾値と動作領域が精度を最大化し遅延を最小化するか？

主な発見

• RMPニューロンは残存膜電位を保持し、試験されたネットワークとデータセット全体でANNベースラインに近いまたは等しいトップ1精度でほぼ損失ゼロのANN-SNN変換を実現する。
• RMP-SNNはハードリセットSNNより推論時刻を2–8倍少なくとも同等かそれ以上の精度をCIFAR-10、CIFAR-100、ImageNetで達成する。
• V_in^maxを用いたレイヤーごとの閾値初期化と制約付きANNトレーニングは従来のハードリセットベース変換よりも変換誤差を大幅に低くする（例：CIFAR-10、CIFAR-100、ImageNet）。
• VGG-16のRMP-SNNはCIFAR-10でTop-1 93.63%を達成しANNと一致、2048タイムステップ、閾値を低くしたバリアントは64〜512タイムステップで高精度を達成。
• ResNet-20/34はベースラインのハードリセットSNNに比べて精度が大幅に改善され、閾値を低くしたバリアントは最大8×の推論速度向上を実現しつつスパイク活動を1–2%程度に維持。
• データセット全体で、RMP-SNNは報告されている中で最高の精度と比較手法の中で最も低いANN-SNN変換誤差を示す。