[論文レビュー] Optimal Conversion of Conventional Artificial Neural Networks to Spiking Neural Networks

Shikuang Deng, Shi Gu|arXiv (Cornell University)|Feb 28, 2021

Advanced Memory and Neural Computing参考文献 32被引用数 100

ひとこと要約

本論文は ANN から SNN への変換における変換誤差を解析し、閾値バランスを取り soft-reset ベースのパイプラインを提案する。これにより、ほぼゼロに近い精度低下と顕著なシミュレーション長の短縮を実現する。

ABSTRACT

Spiking neural networks (SNNs) are biology-inspired artificial neural networks (ANNs) that comprise of spiking neurons to process asynchronous discrete signals. While more efficient in power consumption and inference speed on the neuromorphic hardware, SNNs are usually difficult to train directly from scratch with spikes due to the discreteness. As an alternative, many efforts have been devoted to converting conventional ANNs into SNNs by copying the weights from ANNs and adjusting the spiking threshold potential of neurons in SNNs. Researchers have designed new SNN architectures and conversion algorithms to diminish the conversion error. However, an effective conversion should address the difference between the SNN and ANN architectures with an efficient approximation \DSK{of} the loss function, which is missing in the field. In this work, we analyze the conversion error by recursive reduction to layer-wise summation and propose a novel strategic pipeline that transfers the weights to the target SNN by combining threshold balance and soft-reset mechanisms. This pipeline enables almost no accuracy loss between the converted SNNs and conventional ANNs with only $\sim1/10$ of the typical SNN simulation time. Our method is promising to get implanted onto embedded platforms with better support of SNNs with limited energy and memory.

研究の動機と目的

• ANN を SNN に変換する際に、層間へ変換誤差がどのように伝搬するかを分析する。
• ANN と SNN の活性化値の乖離を最小化する層単位の変換戦略を開発する。
• 短いシミュレーション長でスパイク周波数を近似するための閾値バランスとシフト機構を提案する。
• 標準データセット上の CNN アーキテクチャで理論的および実験的検証を提供する。

提案手法

• 前方伝播を導出し、SNN の出力が ANN 活性化のクリップされた離散版であることを示す。
• 変換誤差を層ごとの項に分解し、層ごとの活性化差を制御することで最小化できることを示す。
• ソース ANN に閾値 ReLU 活性化を導入し、V_th を y_th に揃えて情報損失を低減する。
• ANN ReLU にシフト delta を追加して二乗の活性化差を最小化し、delta ≈ V_th/(2T) を導出する。
• 層の閾値 V_th の設定と小さなバイアス補正 V_th/(2T) を用いた重み転送のアルゴリズムを提供する。
• CIFAR-10/100 および ImageNet を CIFAR-Net、VGG-16、ResNet-20 アーキテクチャで検証する。

実験結果

リサーチクエスチョン

• RQ1 ANN から SNN への変換誤差を層ごとに分解・最小化するにはどうすればよいか?
• RQ2 閾値バランスと活性化のシフトは、精度を保ちつつシミュレーション長を短縮するうえでどんな役割を果たすのか?
• RQ3 最適で短いシミュレーション長のパイプラインは標準的な CNN アーキテクチャ上でほぼ ANN の精度を達成できるのか?
• RQ4 ソースとなる ANN の活性化（閾値 ReLU）を修正することは変換性能と一般化にどのような影響を及ぼすのか?

主な発見

• 変換誤差は層ごとの活性化差の項の和に近似的に分解できる。
• 閾値 ReLU と delta V_th/(2T のシフトにより層ごとの活性化差を最小化し、全体の変換損失を低減する。
• 提案パイプラインは、通常の SNN シミュレーション時間のおよそ 1/10 程度でほとんど精度低下を生まない。
• 実験では CIFAR-10/100 および ImageNet のタスクで、いくつかの既存法と比較して同程度以上の精度と著しく短いシミュレーション長を示した。
• 変換された SNN は場合によって元の ANN よりも高い性能を発揮することがある（例: CIFAR-10/100 の ResNet-20）。
• このアプローチは、いくつかのネットワークでの必要なシミュレーションステップを劇的に減少させつつ高精度を維持する（例: 16–32 ステップ）ことが示された。