[論文レビュー] Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration

Yuhang Li, Shikuang Deng+2 more|arXiv (Cornell University)|May 6, 2022

Advanced Memory and Neural Computing被引用数 13

ひとこと要約

本論文は、バッチ正規化を含むネットワークにおいても、活性化の不一致を最小限に抑えるために、事前学習済みの人工ニューラルネットワーク（ANN）をスパikingニューラルネットワーク（SNN）に変換するためのレイヤー単位のパラメータキャリブレーション手法を提案する。ヘッセ行列に基づく2次分析を用いた誤差伝播の分析と、重み、バイアス、初期膜電位のキャリブレーションにより、32タイムステップでのみ、ImageNetで最大65％のトップ1精度を達成する。これは、従来のコピーペースト変換手法を著しく上回る。

ABSTRACT

Spiking Neural Network (SNN), originating from the neural behavior in biology, has been recognized as one of the next-generation neural networks. Conventionally, SNNs can be obtained by converting from pre-trained Artificial Neural Networks (ANNs) by replacing the non-linear activation with spiking neurons without changing the parameters. In this work, we argue that simply copying and pasting the weights of ANN to SNN inevitably results in activation mismatch, especially for ANNs that are trained with batch normalization (BN) layers. To tackle the activation mismatch issue, we first provide a theoretical analysis by decomposing local conversion error to clipping error and flooring error, and then quantitatively measure how this error propagates throughout the layers using the second-order analysis. Motivated by the theoretical results, we propose a set of layer-wise parameter calibration algorithms, which adjusts the parameters to minimize the activation mismatch. Extensive experiments for the proposed algorithms are performed on modern architectures and large-scale tasks including ImageNet classification and MS COCO detection. We demonstrate that our method can handle the SNN conversion with batch normalization layers and effectively preserve the high accuracy even in 32 time steps. For example, our calibration algorithms can increase up to 65% accuracy when converting VGG-16 with BN layers.

研究の動機と目的

• バッチ正規化層を含む深層ネットワークにおいて顕著な活性化の不一致を解消するという、ANNからSNNへの変換における重要な課題に取り組む。
• 低タイムステップでの推論において精度を維持できない既存のコピーペースト変換手法の限界を克服する。
• 理論的裏付けをもつ、レイヤー単位のキャリブレーションフレームワークを構築し、ANNの活性化分布に一致するようにSNNのパラメータを最適化する。
• 最小限の遅延で、ImageNet分類やMS COCO検出といった大規模タスクにおいて高精度なSNN推論を可能にする。

提案手法

• 理論的分析を通じて、局所的変換誤差をクリッピング誤差とフローリング誤差に分解する。
• 2次ヘッセ行列に基づく摂動解析を用い、活性化誤差がレイヤー間をどのように伝播するかをモデル化する。
• 2つのキャリブレーションパイプラインを提案する：LCP（バイアスのみの調整によるレイヤー単位キャリブレーション）とACP（重み、バイアス、初期膜電位の適応的チューニング）。
• ANNとSNNの活性化間の統計的乖離を最小化するために、小さなラベルなしサブセット（例：1024枚の画像）を用いてSNNのパラメータをキャリブレートする。
• パラメータ空間の類似性ではなく、活性化分布の類似性を最適化目標として、レイヤーを順次グリーディにキャリブレーションする。
• 実データと合成データ（フェイクデータ）の両方をサポートし、学習データが入手不可の場合でもプライバシーを守った変換を可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜ既存のANNからSNNへの変換手法は、特に低タイムステップにおいてバッチ正規化を含むネットワークで精度を維持できないのか？
• RQ2 活性化の不一致は深層ネットワーク内でどのように伝播するのか？変換プロセスにおける主要な誤差要因は何か？
• RQ3 理論的裏付けをもつ2次誤差解析は、ヒューリスティックなパラメータコピーに比べ、SNN変換の精度を向上させられるか？
• RQ4 重みコピーを超えるパラメータキャリブレーションは、最小限の計算コストでSNNの性能をどれほど回復できるか？
• RQ5 合成データを用いたキャリブレーションは、実データと同等の性能を達成できるか？これによりプライバシー保護が可能なSNN変換が可能になるか？

主な発見

• 提案手法により、バッチ正規化を含むVGG-16を32タイムステップでImageNetに変換した場合、トップ1精度が最大65％向上した。
• LCPは128枚のキャリブレーション画像でResNet-34で67.5％の精度を達成し、優れたデータサンプル効率を示した。
• ACPはキャリブレーションデータセットサイズの変化に対して高いロバスト性を示し、128枚から1024枚に増加しても精度はたった0.8％しか向上しなかった。
• 128タイムステップで合成データを用いたキャリブレーションでは、実データと比較して精度が0.74％しか低下しなかった。
• キャリブレート済みSNNは、元のANNのエネルギー消費量の69.36％にまで低減され、最大発火レートが0.08、最小が0.025であった。これは高いスパarsityとエネルギー効率を示している。