[論文レビュー] Towards Lossless ANN-SNN Conversion under Ultra-Low Latency with Dual-Phase Optimization

Ziming Wang, Shuang Lian+4 more|arXiv (Cornell University)|May 16, 2022

Advanced Memory and Neural Computing参考文献 64被引用数 11

ひとこと要約

本稿では、量子化、クリッピング、残留膜電位表現誤差を明示的に取り扱うことで、超低遅延下での損失なしANN-SNN変換のための二段階最適化手法を提案する。訓練可能でQC-ANNとBPTTベースのキャリブレーションを導入することで、最大15.7倍のエネルギー削減を達成し、CIFAR-100で2時間ステップで73.20%のトップ1精度を達成する。

ABSTRACT

Spiking neural networks (SNNs) operating with asynchronous discrete events show higher energy efficiency with sparse computation. A popular approach for implementing deep SNNs is ANN-SNN conversion combining both efficient training of ANNs and efficient inference of SNNs. However, the accuracy loss is usually non-negligible, especially under a few time steps, which restricts the applications of SNN on latency-sensitive edge devices greatly. In this paper, we first identify that such performance degradation stems from the misrepresentation of the negative or overflow residual membrane potential in SNNs. Inspired by this, we decompose the conversion error into three parts: quantization error, clipping error, and residual membrane potential representation error. With such insights, we propose a two-stage conversion algorithm to minimize those errors respectively. Besides, We show each stage achieves significant performance gains in a complementary manner. By evaluating on challenging datasets including CIFAR-10, CIFAR- 100 and ImageNet, the proposed method demonstrates the state-of-the-art performance in terms of accuracy, latency and energy preservation. Furthermore, our method is evaluated using a more challenging object detection task, revealing notable gains in regression performance under ultra-low latency when compared to existing spike-based detection algorithms. Codes are available at https://github.com/Windere/snn-cvt-dual-phase.

研究の動機と目的

• 超低遅延下でのANN-SNN変換精度の顕著なギャップ、特に非ゼロ膜電位の誤表現に起因するものに対処する。
• 変換誤差を3つの異なる要因に分解する：量子化誤差、クリッピング誤差、残留膜電位表現誤差。
• 各誤差タイプを体系的に最小化する二段階最適化フレームワークを開発し、最小限の推論遅延で損失なし変換を実現する。
• CIFAR-100、CIFAR-10、ImageNetデータセットにおいて、極端な時間ステップ制約下で最先端の精度-遅延-エネルギートレードオフを達成する。

提案手法

• 量子化とクリッピング誤差を明示的に分離・最適化できる中間モデルとして、QC-ANN（Quantization-Clipping Artificial Neural Network）を導入する。
• 最初の段階で、訓練可能閾値と量子化ノイズを適用し、SNNへの変換忠実度を向上させるためのANNの微調整を実施する。
• 時間軸を逆方向に伝播する誤差逆伝播（BPTT）を用いて、重みと初期膜電位を層ごとにキャリブレーションし、残留膜電位表現誤差を最小化する。
• 変換誤差を3つの成分に分解する：活性化の量子化による誤差（量子化誤差）、スパイクレートのクリッピングによる誤差（クリッピング誤差）、非ゼロ膜電位の誤表現による誤差（残留ポテンシャル表現誤差）。
• 3つの誤差タイプを補完的に二段階で最適化する：第1段階は量子化とクリッピングに焦点を当て、第2段階は残留ポテンシャルに焦点を当てる。
• スパイクレートを主な変換基準とし、層ごとにANNの活性化とSNNのスパイクレートのL2距離を最小化する。

実験結果

リサーチクエスチョン

• RQ1 超低遅延下でのANN-SNN変換における精度低下の主な要因は何か？
• RQ2 残留膜電位の誤表現、量子化、クリッピング誤差は、SNNにおける変換誤差にどのように寄与するか？
• RQ3 これらの3つの誤差成分を別々に最小化する二段階最適化戦略は、最小限の時間ステップで損失なし変換を達成できるか？
• RQ4 提案手法は、既存の最先端変換手法と比較して、どの程度精度-遅延-エネルギートレードオフを改善できるか？
• RQ5 BPTTベースのキャリブレーションは、低遅延SNNにおける時間的ダイナミクスをどれほど的確に捉え、残留ポテンシャル表現誤差を低減できるか？

主な発見

• CIFAR-100で2時間ステップで73.20%のトップ1精度を達成し、元のANNと比較してエネルギー消費量が15.7倍削減された。
• VGG-16を用いたImageNetでは、16時間ステップで70.13%のトップ1精度を達成し、同様の遅延制約下で先行研究より19.16%の向上を達成した。
• 32個のキャリブレーションサンプルでのみ、CIFAR-10のResNet-18の精度が4時間ステップで25.42%向上した。これは高いサンプル効率を示している。
• T=8でCIFAR-100ではほぼ損失なしの変換が達成され、精度損失は0.38%にとどまり、エネルギー消費量は元のANNの16.11%にまで削減された。
• 4時間ステップでも優れた性能を維持しており、CIFAR-10においては、最先端の直接学習手法を精度と遅延の両面で上回った。
• エネルギー効率が顕著に向上した：CIFAR-100でT=2のとき、SNNのエネルギー消費量は140.5 μJ（ANNの6.36%）にまで低下し、73.20%の精度を達成した。これは優れたエネルギー保存性を示している。