[論文レビュー] Efficient Event-Based Object Detection: A Hybrid Neural Network with Spatial and Temporal Attention

Soikat Hasan Ahmed, Jan Finkbeiner+1 more|arXiv (Cornell University)|Mar 15, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、空間的および時間的アテンションを備えたハイブリッドSNN-ANNバックボーンを提案し、低消費電力で高時間分解能を実現するスパikingニューラルネットワーク（SNN）を用いた効率的なイベントベースオブジェクト検出を実現する。SNNは低消費電力で高時間分解能の前処理を実行し、ANNは高精度な特徴抽出を担う。この手法は、純粋なANNベースラインと同等の最先端の性能を達成するとともに、パラメータ数とエネルギー消費を顕著に削減しており、Intel Loihi 2にハードウェア実装された結果、1.7Wの消費電力でリアルタイムを超える推論が可能となった。

ABSTRACT

Event cameras offer high temporal resolution and dynamic range with minimal motion blur, making them promising for robust object detection. While Spiking Neural Networks (SNNs) on neuromorphic hardware are often considered for energy-efficient and low latency event-based data processing, they often fall short of Artificial Neural Networks (ANNs) in accuracy and flexibility. Here, we introduce Attention-based Hybrid SNN-ANN backbones for event-based object detection to leverage the strengths of both SNN and ANN architectures. A novel Attention-based SNN-ANN bridge module captures sparse spatial and temporal relations from the SNN layer and converts them into dense feature maps for the ANN part of the backbone. Additionally, we present a variant that integrates DWConvL-STMs to the ANN blocks to capture slower dynamics. This multi-timescale network combines fast SNN processing for short timesteps with long-term dense RNN processing, effectively capturing both fast and slow dynamics. Experimental results demonstrate that our proposed method surpasses SNN-based approaches by significant margins, with results comparable to existing ANN and RNN-based methods. Unlike ANN-only networks, the hybrid setup allows us to implement the SNN blocks on digital neuromorphic hardware to investigate the feasibility of our approach. Extensive ablation studies and implementation on neuromorphic hardware confirm the effectiveness of our proposed modules and architectural choices. Our hybrid SNN-ANN architectures pave the way for ANN-like performance at a drastically reduced parameter, latency, and power budget.

研究の動機と目的

• 疎で高時間分解能なイベントデータを効率的に処理し、オブジェクト検出において高い精度を維持する課題に対処すること。
• スパikingニューラルネットワーク（SNN）のエネルギー効率と、人工ニューラルネットワーク（ANN）の優れた学習能力を組み合わせること。
• 疎なSNN特徴を効果的に密度のある高レベル表現に変換する、新しいアテンションベースのブリッジモジュールを設計すること。
• デジタルニューロモーフィックハードウェア（Intel Loihi 2）にSNNバックボーンを実装することで、ハードウェア実装可能性とエネルギー効率を実証すること。
• ハイブリッドSNN-ANNアーキテクチャにより、パラメータ数と電力消費を大幅に削減しながら、ANNレベルの性能を達成すること。

提案手法

• 提案されたアーキテクチャは、ハイブリッドSNN-ANNバックボーンを採用しており、SNNブロックが高時間分解能かつ低消費電力で生イベントデータを処理する。
• アテンションベースのSNN-ANNブリッジモジュールが、疎なSNN出力をANN部用の密度のある特徴マップに変換する。このモジュールには、イベントレート空間（ERS）アテンションと空間認識時間（SAT）アテンションの2つの構成要素が含まれる。
• ERSアテンションは、イベント活動が強い空間領域を強調することで、空間的特徴表現を向上させる。
• SATアテンションは、時間軸にわたる不規則な時空間パターンを注目することで、疎なイベントストリーム内の時間的依存関係をモデル化する。
• SNN部への誤差逆伝播を可能にするために、サーヴィルグレントバックプロパゲーションを用いてエンド・ツー・エンドで学習する。
• SNNブロックはint8に量子化され、バッチ正規化とLIFニューロンダイナミクスと統合され、Intel Loihi 2へのデプロイメントに適応し、精度を保持するとともに低遅延推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドSNN-ANNアーキテクチャは、SNNのエネルギー効率性と時間分解能の利点を維持しながら、ANNレベルの性能を達成できるか？
• RQ2 提案されたアテンションベースのSNN-ANNブリッジモジュールは、イベントデータからの疎な空間的および時間的関係をどれほど効果的に捉えられるか？
• RQ3 精度と計算効率の両立を考慮した場合、SNNブロックとANNブロックの最適な数のバランスは何か？
• RQ4 SNNバックボーンは、最小限の精度損失とリアルタイムを超える遅延を実現するニューロモーフィックハードウェアに効率的に実装可能か？
• RQ5 Loihi 2のようなデジタルニューロモーフィックチップに実装した場合、ハイブリッドアーキテクチャの電力および遅延特性はどのようなものか？

主な発見

• 提案されたハイブリッドSNN-ANNモデルは、mAP(.5)が0.61、mAP(.75)が0.34、mAP(.5:.05:.95)が0.35を達成し、ベースラインのハイブリッドおよびSNNオンリーメソッドを上回り、最先端のANNベース手法と同等の性能を示した。
• 4-4構成（SNNブロック4つ、ANNブロック4つ）が最適なバランスを達成し、3-5構成と同等の性能を発揮しながら、計算オーバーヘッドを低減した。
• SNNブロックはIntel Loihi 2に正常に実装され、1.7W ± 0.1Wの消費電力と、1ステップあたり1.9ms ± 0.8msの遅延を達成した。これはリアルタイム（1ステップ5ms）を上回る速度であった。
• 重みスケーリングと入力統合を伴うint8への量子化により、精度が保持された。mAP(.5)はint8で0.349、float16で0.348であり、ハードウェア互換性が確認された。
• アブレーションスタディの結果、ERSおよびSATアテンションモジュールの両方が性能向上に顕著に寄与しており、特にSATアテンションが疎なイベント入力の処理において顕著に有効であることが判明した。
• ハードウェア実装の結果、SNNバックボーンがサブリアルタイムかつ低消費電力の推論を可能にし、NVIDIA Jetson Orin Nanoなどの商業的エッジデバイスをエネルギー効率面で上回った。