[論文レビュー] Spike Calibration: Fast and Accurate Conversion of Spiking Neural Network for Object Detection and Segmentation

Yang Li, Xiang He+3 more|arXiv (Cornell University)|Jul 6, 2022

Advanced Memory and Neural Computing被引用数 15

ひとこと要約

本論文は、物体検出やセマンティックセグメンテーションのような複雑なタスクにおいて、高速で正確かつエネルギー効率の良い人工ニューラルネットワーク（ANN）からスパイikingニューラルネットワーク（SNN）への変換を可能にする新規手法Spike Calibration（SpiCalib）を提案する。スパイクニューロンがANNでは不活性化されているがSNNでは発火する（SIN誤差）という変換誤差を理論的に分析し、間隔を監視することで誤ったスパイクを是正するとともに、LIPoolingを変更して損失のないMaxPooling変換を可能にした。これにより、128時間ステップでANNと同等のSNN性能を達成し、エネルギー消費量は0.492×にまで低減した。

ABSTRACT

Spiking neural network (SNN) has been attached to great importance due to the properties of high biological plausibility and low energy consumption on neuromorphic hardware. As an efficient method to obtain deep SNN, the conversion method has exhibited high performance on various large-scale datasets. However, it typically suffers from severe performance degradation and high time delays. In particular, most of the previous work focuses on simple classification tasks while ignoring the precise approximation to ANN output. In this paper, we first theoretically analyze the conversion errors and derive the harmful effects of time-varying extremes on synaptic currents. We propose the Spike Calibration (SpiCalib) to eliminate the damage of discrete spikes to the output distribution and modify the LIPooling to allow conversion of the arbitrary MaxPooling layer losslessly. Moreover, Bayesian optimization for optimal normalization parameters is proposed to avoid empirical settings. The experimental results demonstrate the state-of-the-art performance on classification, object detection, and segmentation tasks. To the best of our knowledge, this is the first time to obtain SNN comparable to ANN on these tasks simultaneously. Moreover, we only need 1/50 inference time of the previous work on the detection task and can achieve the same performance under 0.492$ imes$ energy consumption of ANN on the segmentation task.

研究の動機と目的

• 物体検出やセグメンテーションのような複雑なタスクにおける、従来のSNN変換手法で見られる顕著な性能低下と高い時間遅延を是正すること。
• 離散的スパイクと時間変動するシナプス電流の極値によって生じる変換誤差（出力分布の歪み）を特定・是正すること。
• LIPoolingを変更することで、SNNにおけるMaxPooling層の損失のない変換を可能にすること。
• ベイズ最適化を用いて正規化パラメータを自動的に最適化し、ヒューリスティックな調整に依存しないこと。
• 複雑なビジョンタスクにおいて、低エネルギー消費と高速推論を維持しつつ、ANNと同等のSNN性能を達成すること。

提案手法

• 変換誤差を3つのカテゴリに理論的に分析する：クリッピング誤差、不活性化ニューロンのスパイク（SIN）誤差、MaxPooling誤差。特にSIN誤差が深刻であり、時間変動するシナプス電流の極値に起因する。
• SIN誤差を検出し是正するSpike Calibration（SpiCalib）を提案。ニューロンの平均インターバル（ISI）を監視することで、一時的な電流ピークによって生じる誤ったスパイクを特定する。
• LIPoolingを変更し、任意のMaxPooling層をSNNに損失のない形で変換可能にする。時間ステップにわたる最大活性化を保持する。
• p-ノルム正規化におけるパラメータ$p$の自動最適化にベイズ最適化を導入し、経験的設定に依存しないようにする。
• 既存の変換フレームワーク（例：Burst Spikes）と統合し、ResNetおよびFCNバックボーンを用いた分類、検出、セグメンテーションタスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 物体検出やセグメンテーションといった単純な分類をはるかに超える複雑なビジョンタスクにおける、ANNからSNNへの変換における主な性能低下要因は何か？
• RQ2 時間変動するシナプス電流の極値が、不活性化されたニューロンでの誤ったスパイキング（SIN誤差）にどのように寄与するか。また、ネットワーク構造を変更せずに是正可能か？
• RQ3 MaxPooling層をSNNに変換する際に性能損失を生じさせずに行うことは可能か。その場合、LIPoolingにどのような変更が必要か？
• RQ4 自動ハイパーパramータ最適化（例：p-ノルム正規化のため）により、タスク間での変換精度と一般化性能が向上するか？
• RQ5 短時間シミュレーションと低エネルギー予算内で、SNNが物体検出およびセマンティックセグメンテーションにおいてANNと同等の性能を達成できるか？

主な発見

• SpiCalibは、分類、物体検出、セマンティックセグメンテーションの各タスクで最先端の性能を達成し、PASCAL VOCでは128時間ステップでANNと同等のSNN性能を実現した。
• 物体検出において、推論時間を前例の1/50まで短縮しながら、ANNベースラインと同等の平均平均精度（mAP）を維持した。
• VOC上でのFCNを用いたセマンティックセグメンテーションにおいて、T=128で81.49%の頻度加重IoUを達成し、ANNの81.49%と一致。ベースラインSNNより最大2.3ポイント優れた性能を示した。
• セグメンテーションタスクにおいてエネルギー消費量を0.492×にまで低減し、優れたエネルギー効率を示した。
• 正規化パラメータのベイズ最適化により一般化性能が向上し、MLIPoolingとSpiCalibの組み合わせにより、T=256で81.49%のf.w. IoUを達成し、ANNと完全に一致した。
• スパarsity分析から、発火率は0.0062から0.0319の範囲にあり、ニューロモルフィックハードウェア上で高いスパarsityとエネルギー効率を確認した。