[論文レビュー] Bridging the Gap between ANNs and SNNs by Calibrating Offset Spikes

Zecheng Hao, Jianhao Ding+3 more|arXiv (Cornell University)|Feb 21, 2023

Advanced Memory and Neural Computing被引用数 11

ひとこと要約

本論文は、ANN-SNN変換誤差を定量化するためのオフセットスパイクを定義し、スパイクを較正する初期膜電位移動戦略を提案して、CIFAR-10/100とImageNetで超低遅延で高精度を達成します。さらに誤差を更に減らす反復的な精製特性を実証します。

ABSTRACT

Spiking Neural Networks (SNNs) have attracted great attention due to their distinctive characteristics of low power consumption and temporal information processing. ANN-SNN conversion, as the most commonly used training method for applying SNNs, can ensure that converted SNNs achieve comparable performance to ANNs on large-scale datasets. However, the performance degrades severely under low quantities of time-steps, which hampers the practical applications of SNNs to neuromorphic chips. In this paper, instead of evaluating different conversion errors and then eliminating these errors, we define an offset spike to measure the degree of deviation between actual and desired SNN firing rates. We perform a detailed analysis of offset spike and note that the firing of one additional (or one less) spike is the main cause of conversion errors. Based on this, we propose an optimization strategy based on shifting the initial membrane potential and we theoretically prove the corresponding optimal shifting distance for calibrating the spike. In addition, we also note that our method has a unique iterative property that enables further reduction of conversion errors. The experimental results show that our proposed method achieves state-of-the-art performance on CIFAR-10, CIFAR-100, and ImageNet datasets. For example, we reach a top-1 accuracy of 67.12% on ImageNet when using 6 time-steps. To the best of our knowledge, this is the first time an ANN-SNN conversion has been shown to simultaneously achieve high accuracy and ultralow latency on complex datasets. Code is available at https://github.com/hzc1208/ANN2SNN_COS.

研究の動機と目的

• 低い時間ステップでのANN-to-SNN変換の精度向上を動機づける。
• 実際のスパイク発生頻度と期待されるSNN発火率のずれを測る指標としてオフセットスパイクを導入する。
• 変換誤差を減らすために初期膜電位をシフトさせることでスパイク較正法を開発する。
• 最適なシフトの理論的性質と較正プロセスの反復性を証明する。
• CIFAR-10/100 および ImageNet で実証的に検証し、極めて低遅延で最先端の結果を示す。

提案手法

• オフセットスパイクを層における望ましいスパイク数と実際のスパイク数の差として定義する（Equation 8）。
• オフセットスパイクの分布を解析し、1スパイクのずれが誤差の主な要因であることを示す。
• 残差膜電位からオフセットスパイクの符号検出則を導出する（Theorem 1）。
• 初期膜電位の最適なシフトを提案し、スパイク数を正負1だけ変化させる（Theorem 2）。
• 2段階のスパイク較正パイプラインを構築する：数段階でスパイク状態を推定し、次に初期ポテンシャルをシフトして誤差を除去する；反復してさらに誤差を減らす（Iterative property）。
• QCFSベースのANN-to-SNN変換を用いてCIFAR-10/100とImageNetで性能を評価し、最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 低い時間ステップでANN-SNN変換誤差をオフセットスパイクが定量的に説明できるか？
• RQ2 初期膜電位のシフトをどのように最適化してスパイク数を調整し、SNNの発火をANNの出力と一致させるか？
• RQ3 シフト法の反復適用は、超低遅延での変換誤差をさらに減らし、精度を向上させるか？
• RQ4 提案手法は標準ベンチマークで既存のANN-SNN変換・訓練手法とどのように比較されるか？
• RQ5 スパイク較正手順に対する理論的保証は何か？

主な発見

• 各層で±1のオフセットスパイク（ψ^l）は、変換誤差の大部分を占める。
• ψ^l の符号は、指定された条件下で残差膜電位 v^l(T) から推定できる。
• 初期膜電位の最適なシフトにより、層のスパイク数をちょうど1増減させることができる（Theorem 2）。
• 2段階の較正（推定+シフト）は層ごとの偏差を減らす；反復により、出力層の二乗平均誤差は理想的な場合にほぼ零に近づく。
• ImageNet の6 time-steps で、手法は 67.12% の top-1 精度を達成（要約に記載されているとおり）；CIFAR-10/100 および ImageNet では prior の ANN-SNN 手法と比較して最先端または競合的な結果を示し、超低遅延である。
• シフト操作を複数回適用する反復性により、ψ^lをさらに0に近づける。