[論文レビュー] RMP-Loss: Regularizing Membrane Potential Distribution for Spiking Neural Networks

Yufei Guo, Xiaode Liu+6 more|arXiv (Cornell University)|Aug 13, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、スパイクニューラルネットワーク（SNN）における膜電位分布をバイナリースパイク値（0 または 1）に再配分することで、量子化誤差を低減する、シンプルでありながら効果的な正則化損失であるRMP-Lossを提案する。トレーニング中に膜電位とスパイク閾値の距離を直接最小化することで、パラメータの追加や推論オーバーヘッドなしにSNNの精度を向上させ、CIFAR-10、CIFAR-100、CIFAR10-DVS、ImageNetで最先端の性能を達成した。

ABSTRACT

Spiking Neural Networks (SNNs) as one of the biology-inspired models have received much attention recently. It can significantly reduce energy consumption since they quantize the real-valued membrane potentials to 0/1 spikes to transmit information thus the multiplications of activations and weights can be replaced by additions when implemented on hardware. However, this quantization mechanism will inevitably introduce quantization error, thus causing catastrophic information loss. To address the quantization error problem, we propose a regularizing membrane potential loss (RMP-Loss) to adjust the distribution which is directly related to quantization error to a range close to the spikes. Our method is extremely simple to implement and straightforward to train an SNN. Furthermore, it is shown to consistently outperform previous state-of-the-art methods over different network architectures and datasets.

研究の動機と目的

• 実数値の膜電位をバイナリースパイク（0/1）にマッピングすることによって生じる量子化誤差を直接是正すること。これは情報損失や性能低下を引き起こす。
• トレーニング中に追加のパラメータや推論時の計算オーバーヘッドを導入せずに、この量子化誤差を最小化するトレーニング手法を開発すること。
• 膜電位がスパイク閾値またはリセット値に集中するよう促進することで、多様なアーキテクチャとデータセットにおいてSNNの性能を向上させること。
• 理論的裏付けがあり、シンプルで普遍的に適用可能な正則化技術を提供することにより、エンドツーエンドのSNNトレーニングにおける安定性と精度を向上させること。

提案手法

• バックプロパゲーション中に、膜電位とそれに対応する0/1スパイク値とのL2距離をペナルティとする、新しい正則化損失であるRMP-Lossを導入する。
• この損失関数は、標準的なタスク損失に正則化項として追加され、トレーニング中に膜電位がバイナリースパイクレベル（0 または 1）に集束するよう促進する。
• この手法はネットワークアーキテクチャや活性化関数を変更せずに、膜電位分布そのものに直接作用する。
• RMP-Lossは微分可能であり、標準的なバックプロパゲーションと互換性があり、サロゲート勾配法を用いたエンドツーエンドのSNNトレーニングを可能にする。
• 正則化は層ごとに適用され、SNNの推論メカニズムやスパイク生成ルールを変更しない。
• このアプローチはアーキテクチャに依存せず、最小限のコード変更で任意のSNNトレーニングパイプラインに容易に統合可能である。

Figure 1 : The overall workflow of the proposed method. We embed a membrane potential regularization loss in the task loss to redistribute the membrane potential in the training phase to reduce the quantization error.

実験結果

リサーチクエスチョン

• RQ1 膜電位の分布をバイナリースパイク値に直接正則化することで、SNNにおける量子化誤差を低減できるか？
• RQ2 シンプルでパラメータフリーの正則化損失が、推論コストを増加させることなくSNNの精度を向上させられるか？
• RQ3 RMP-Lossは、異なるデータセットやアーキテクチャにおいて、最先端のSNNトレーニング手法と比較して、精度と効率の面で優れているか？
• RQ4 RMP-Lossは、アーキテクチャの変更や時間ステップ数の増加によって間接的に量子化誤差を低減する手法よりも、より優れた性能を達成できるか？

主な発見

• CIFAR-10では、ResNet20と4ステップで93.65%のトップ-1精度を達成し、先行研究のTETを4.26%上回った。
• CIFAR-100では、ResNet20と4ステップで66.65%のトップ-1精度を達成し、Diet-SNNを2.58%、Real Spikeを0.05%上回った。
• 神経形状のCIFAR10-DVSデータセットでは、ResNet19と10ステップで76.20%のトップ-1精度を達成し、InfLoR-SNNを0.70%、RecDis-SNNを3.78%上回った。
• ImageNetでは、ResNet34と4ステップで65.17%のトップ-1精度を達成し、バイナリースパイク出力の標準SNNの中で最高水準にランクされたが、非バイナリースパイク出力のSEW ResNetに比べてわずかに下回った。
• 可視化結果から、RMP-Lossが膜電位分布の範囲を狭め、スパイク閾値との距離を短くし、量子化誤差を最小化していることが確認された。
• 本手法は、複数のアーキテクチャ（ResNet19、ResNet20、VGG16）とデータセットにおいて一貫して性能を向上させ、広範な適用可能性と頑健性を示した。

Figure 2 : The effect of RMP-Loss. The overall original membrane potential distribution (left) and the redistributed membrane potential distribution by RMP-Loss (right) of the first layer of the second block in ResNet20 on CIFAR-10 test sets.