[論文レビュー] Noisy Softplus: an activation function that enables SNNs to be trained as ANNs

Qian Liu, Yunhua Chen+1 more|arXiv (Cornell University)|Mar 31, 2017

Advanced Memory and Neural Computing参考文献 11被引用数 9

ひとこと要約

この論文では、標準的な誤差逆伝播法を用いて、人工ニューラルネットワーク（ANN）と同様に、エンドツーエンドで訓練可能な微分可能活性化関数であるNoisy Softplusを提案する。この関数により、ノイズを含むシナプス入力下でのLeaky Integrate-and-Fire（LIF）ニューロンの発火レートを正確にモデル化でき、訓練済みのANNからSNNへの直接的な重み転送が可能となり、MNISTデータセットで98.85%のテスト精度を達成した。これは元のReLUベースのANNの99.05%にほぼ等しく、先行するLIFニューロンを用いたSNNを上回る性能を示した。

ABSTRACT

We extended the work of proposed activation function, Noisy Softplus, to fit into training of layered up spiking neural networks (SNNs). Thus, any ANN employing Noisy Softplus neurons, even of deep architecture, can be trained simply by the traditional algorithm, for example Back Propagation (BP), and the trained weights can be directly used in the spiking version of the same network without any conversion. Furthermore, the training method can be generalised to other activation units, for instance Rectified Linear Units (ReLU), to train deep SNNs off-line. This research is crucial to provide an effective approach for SNN training, and to increase the classification accuracy of SNNs with biological characteristics and to close the gap between the performance of SNNs and ANNs.

研究の動機と目的

• 深く効率的なスパikingニューラルネットワーク（SNN）を訓練する課題に、生物学的妥当性とエネルギー効率を維持しながら対処すること。
• SNNを標準的な誤差逆伝播法を用いて直接訓練可能にすることで、ANNとの性能ギャップを埋めること。
• 訓練済みのANNの重みを変換や再訓練なしにSNNに直接展開可能である一般化可能な手法を開発すること。
• より生物学的に現実的なIFニューロンよりも優れたLIFニューロンを用いたSNNの分類精度を向上させること。

提案手法

• ノイズを含むシナプス入力下でのLIFニューロンの発火レートをモデル化する微分可能活性化関数として、Noisy Softplusを提案する。これは、Softplusに確率的ノイズを組み合わせたものである。
• 確定的Siegeert関数に代わって、LIFニューロン応答の確率的近似を用いることで、実際のスパイクダイナミクスとの整合性を高めた。
• Noisy Softplusを用いて、標準的な誤差逆伝播法による深層SNNのエンドツーエンド訓練を実施し、ANNからSNNへの直接的な重み転送を可能にした。
• 2段階の訓練戦略を採用：まずANNでReLUを用いて訓練し、その後Noisy Softplusでファインチューニングすることで、SNNにおける精度低下を最小限に抑えた。
• PyNNシミュレーションを用いて、MNISTデータセット上で標準的なConvNetアーキテクチャ（12c5-2s-64c5-2s-10fc）を検証した。
• ハードウェア固有のエネルギーコスト（例：SpiNNakerでは1イベントあたり8 nJ）を用い、シナプスイベントレートと発火周波数に基づいてエネルギー消費量を推定した。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含む現実的な入力条件下で、LIFニューロンの発火レートを正確にモデル化できる微分可能活性化関数を設計できるか？
• RQ2 この活性化関数を用いて、標準的な誤差逆伝播法でSNNを訓練可能であり、ANNと同等の性能を達成できるか？
• RQ3 提案手法により、変換や再訓練なしに、ANNで訓練された重みをSNNに直接展開可能か？
• RQ4 Noisy Softplusを用いて訓練されたSNNの性能は、最先端のSNNおよびANNと比較して、分類精度とエネルギー効率の面でどのように評価されるか？

主な発見

• Noisy SoftplusをSNNで用いた場合、MNISTデータセットにおける分類精度は98.85%に達した。これは元のReLUベースのANN（99.05%）との差が0.20%にとどまり、非常に高い性能を示した。
• これは、LIFニューロンを用いたSNNにおいて報告された最高の性能であり、類似アーキテクチャを有する以前のSNNモデルを上回った。
• この手法により、標準的な誤差逆伝播法を用いたSNNのエンドツーエンド訓練が可能となり、変換ステップなしに訓練済みの重みをSNNで直接利用可能となった。
• Noisy Softplusによるファインチューニングにより、予測された発火レートと実際の発火レートの乖離が顕著に低減され、試行全体にわたり安定性と精度が向上した。
• SNNはテスト時間の300 ms以内に安定した分類性能を示した。これは、リアルタイム神経形状ビジョン応用に適していることを示した。
• エネルギー消費量の推定結果では、300 msで10,000枚のMNIST画像を分類する場合、SpiNNaker上では約0.064 Wの消費電力で、シナプスイベントレートは8×10⁶/sであった。