[論文レビュー] Spiking Neural Networks for Frame-based and Event-based Single Object Localization

Sami Barchid, José Mennesson+3 more|arXiv (Cornell University)|Jun 13, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本稿では、学習可能な出力アキュムレータを用いてフレームベースおよびイベントベースの入力の両方に適応可能な、スパイクニューラルネットワーク（SNN）を用いた単一オブジェクト検出手法を提案する。この手法は、競争力ある精度を達成するとともに、画像の劣化に対して優れた耐性を示し、同等の人工ニューラルネットワーク（ANN）と比較して最大126.6倍のエネルギー消費削減を実現する。また、神経コード化方式に関する先行のSTDPベースのSNN研究とは異なり、結果が異なる。

ABSTRACT

Spiking neural networks have shown much promise as an energy-efficient alternative to artificial neural networks. However, understanding the impacts of sensor noises and input encodings on the network activity and performance remains difficult with common neuromorphic vision baselines like classification. Therefore, we propose a spiking neural network approach for single object localization trained using surrogate gradient descent, for frame- and event-based sensors. We compare our method with similar artificial neural networks and show that our model has competitive/better performance in accuracy, robustness against various corruptions, and has lower energy consumption. Moreover, we study the impact of neural coding schemes for static images in accuracy, robustness, and energy efficiency. Our observations differ importantly from previous studies on bio-plausible learning rules, which helps in the design of surrogate gradient trained architectures, and offers insight to design priorities in future neuromorphic technologies in terms of noise characteristics and data encoding methods.

研究の動機と目的

• 画像分類ベースラインを越えたSNNのオブジェクト検出における包括的評価の不足に対処すること。
• 神経コード化方式、センサーノイズ、入力モダリティ（フレームベース対イベントベース）がSNNのオブジェクト検出性能に与える影響を調査すること。
• 統一されたフレームワーク内で、SNNと同等のANNの精度、耐性、推論効率、エネルギー効率を比較すること。
• 補間勾配学習がコード化方式の性能に与える影響を分析することで、将来の神経形状システムの設計インサイトを提供すること。STDPベースの先行研究とは異なる。

提案手法

• エンドツーエンドのオブジェクト検出を実現するため、補間勾配降下法を用いて訓練された畳み込みSNNアーキテクチャを採用する。
• 出力アキュムレータモジュールが、バイナリスパイク出力を処理して正確なバウンディングボックス予測を生成する。
• フレームベース（Oxford-IIIT-Pet）およびイベントベース（N-Caltech101）の両データセットでモデルを訓練および評価する。
• 時間ステップとノイズ条件を変化させた状態で、レート、TTFS、位相、サッケード、トレーニング可能など複数の神経コード化方式を体系的に評価する。
• エネルギー消費は45nm CMOSプロセスモデルを用いて推定され、MAC演算とスパイク数を比較することでSNNと同等のANNを評価する。
• 画像劣化の一般的な状況下で耐性を評価し、時間ステップ（T ≤ 8）における推論効率を測定する。

実験結果

リサーチクエスチョン

• RQ1 補間勾配で訓練されたSNNの単一オブジェクト検出性能は、同等のANNと比較して、精度、耐性、エネルギー効率の観点でどのように異なるか？
• RQ2 補間勾配で訓練されたSNNにおいて、精度、推論速度、耐性、エネルギー効率のバランスを最適化する神経コード化方式はどれか？
• RQ3 異なるセンサーモダリティ（フレームベース対イベントベース）およびノイズタイプは、SNNの性能とエネルギー消費にどのように影響するか？
• RQ4 補間勾配で訓練されたSNNの性能特性は、STDPまたは生物学的に妥当なルールで訓練されたSNNとどのように異なるか？

主な発見

• 提案されたSNNは、同等のANNと同等またはより高い精度を達成するとともに、最大126.6倍のエネルギー消費削減を実現する。
• モデルは画像劣化に対して優れた耐性を示し、特にレートおよびトレーニング可能なコード化方式で顕著である。
• サッケードコード化は、低いエネルギー消費と比較的高い精度を達成するが、耐性が低い。一方、TTFSコード化は高い耐性を示すが、全体的な性能は低い。
• レートコード化は、精度、推論効率、エネルギー効率のバランスが最良であり、STDPベースの研究とは異なり、TTFSやサッケードが好まれるのとは異なる。
• イベントベースの入力は、低スパイクコード化方式と比較して顕著に高いエネルギー消費を示しており、イベントからスパイクへのエンコーディングを最適化する必要があることを示唆している。
• トレーニング可能なコード化方式は高い精度と耐性を達成するが、エネルギーコストを低減するための正則化が必要である。これは、トレーニング時にスパイクペナルティ項を導入する必要があることを示唆している。