[論文レビュー] A Free Lunch From ANN: Towards Efficient, Accurate Spiking Neural Networks Calibration

Yuhang Li, Shikuang Deng+3 more|arXiv (Cornell University)|Jun 13, 2021

Advanced Memory and Neural Computing参考文献 37被引用数 50

ひとこと要約

本論文は SNN Calibration を提案する。これは層ごとの較正手法で、事前学習済みの ANN を低遅延かつ高精度の SNN に変換し、較正データ予算を小さく抑えつつ、ImageNet における MobileNet と RegNet で最先端の結果を達成する。

ABSTRACT

Spiking Neural Network (SNN) has been recognized as one of the next generation of neural networks. Conventionally, SNN can be converted from a pre-trained ANN by only replacing the ReLU activation to spike activation while keeping the parameters intact. Perhaps surprisingly, in this work we show that a proper way to calibrate the parameters during the conversion of ANN to SNN can bring significant improvements. We introduce SNN Calibration, a cheap but extraordinarily effective method by leveraging the knowledge within a pre-trained Artificial Neural Network (ANN). Starting by analyzing the conversion error and its propagation through layers theoretically, we propose the calibration algorithm that can correct the error layer-by-layer. The calibration only takes a handful number of training data and several minutes to finish. Moreover, our calibration algorithm can produce SNN with state-of-the-art architecture on the large-scale ImageNet dataset, including MobileNet and RegNet. Extensive experiments demonstrate the effectiveness and efficiency of our algorithm. For example, our advanced pipeline can increase up to 69% top-1 accuracy when converting MobileNet on ImageNet compared to baselines. Codes are released at https://github.com/yhhhli/SNN_Calibration.

研究の動機と目的

• ANNとSNNの間に生じる変換による活性化の不一致を解消することで、効率的なSNNの展開を促進する。
• 事前学習済みのANNを活用して高精度・低遅延のSNNを生み出す層ごとの較正フレームワークを提案する。
• 変換エラーの成分とそれの伝搬を分析し、ターゲットを絞った較正戦略を設計する。
• 精度、データ要件、計算量のバランスを取る実用的なパイプライン（LightとAdvanced）を提供する。
• MobileNet、RegNetX-4GFなどの大規模アーキテクチャおよびImageNet規模のタスクへのスケーラビリティを示す。

提案手法

• ANN→SNN変換を、スパイク生成時のfloor誤差およびクリップ誤差を含む伝搬問題として定式化する。
• 時刻ステップ全体で層ごとのSNN閾値を設定するMMSEベースの適応閾値を導入する。
• バイアスを調整する層ごとの較正アルゴリズム（Light Pipeline）を開発し、任意で初期膜電位と重み（Advanced Pipeline）を調整可能にする。
• BN、AvgPool、および変換特有の成分を、BN吸収の統合とプールから畳み込みへの処理を組み込むことで扱う。
• データ予算を考慮した較正で、実用的な二つのパイプラインを提供する（Light: biasのみ; Advanced: bias、初期電位、重み）。
• ウェイト較正時の勾配流を直通推定法（straight-through estimator）を利用して、決定論的な損失ベースの較正ループを使用する。

実験結果

リサーチクエスチョン

• RQ1 層間でANN→SNN変換誤差をどのように特徴づけ、上限化できるか。
• RQ2 非常に低い時間ステップ（≤256）で、最小限のデータ効率の較正スキームがANNとSNN間の活性化ギャップを埋められるか。
• RQ3 変換時におけるfloor誤差とクリップ誤差のバランスを最も適切に取る閾値戦略は何で、MMSEは層を横断してどのように機能するか。
• RQ4 大規模モデルおよびBNを含むアーキテクチャにおけるLightとAdvancedの較正パイプラインのトレードオフと実務的な利点は何か。
• RQ5 BN、AvgPool、その他の一般的な層は変換にどのような影響を与え、較正へ効果的に統合できるか。

主な発見

• 適応的MMSE閾値は、固定閾値や極端な閾値の選択よりも変換誤差を低くする。特に短いシミュレーション長で顕著。
• バイアス較正（Light Pipeline）は、BN構成と閾値を問わず精度を一貫して向上させ、メモリオーバーヘッドも低い。
• Potential and Weights Calibration（Advanced Pipeline）はさらに精度を向上させ、ImageNet全体でVGG-16とMobileNetで顕著な改善を達成。
• 本手法はMobileNetとRegNetX-4GFの高精度変換をT ≤ 256で可能にし、いくつかのベースラインを上回る。
• Advanced Pipeline は完全な WC を使用することでエンドツーエンド訓練手法より著しく低遅延で競争力のある精度に達する。
• エネルギー効率は高く保たれ、ニューロモルフィックハードウェア上でスパース発火と大幅なエネルギー節約を実現（例：Spiking VGG-16ケースでANNと比較して69.36%のエネルギー節約）