[論文レビュー] SpikePoint: An Efficient Point-based Spiking Neural Network for Event Cameras Action Recognition

Hongwei Ren, Yue Zhou+5 more|arXiv (Cornell University)|Oct 11, 2023

Advanced Memory and Neural ComputingEngineering被引用数 3

ひとこと要約

SpikePointは、フレーム変換を経ずに、イベントカメラからのスパースなイベントクラウドデータを直接処理する、新規のエンドツーエンド型ポイントベースのスパイキングニューラルネットワークを提案する。シングルステージアーキテクチャとアイデンティティマッピング、およびサーヴェイグレントトレーニングを活用することで、16ステップの時間ステップ、アンニュアルニューラルネットワーク（ANNs）の0.3%のパラメータ、0.5%の消費電力で、5つのデータセットにおいて最先端のアクション認識精度を達成する。

ABSTRACT

Event cameras are bio-inspired sensors that respond to local changes in light intensity and feature low latency, high energy efficiency, and high dynamic range. Meanwhile, Spiking Neural Networks (SNNs) have gained significant attention due to their remarkable efficiency and fault tolerance. By synergistically harnessing the energy efficiency inherent in event cameras and the spike-based processing capabilities of SNNs, their integration could enable ultra-low-power application scenarios, such as action recognition tasks. However, existing approaches often entail converting asynchronous events into conventional frames, leading to additional data mapping efforts and a loss of sparsity, contradicting the design concept of SNNs and event cameras. To address this challenge, we propose SpikePoint, a novel end-to-end point-based SNN architecture. SpikePoint excels at processing sparse event cloud data, effectively extracting both global and local features through a singular-stage structure. Leveraging the surrogate training method, SpikePoint achieves high accuracy with few parameters and maintains low power consumption, specifically employing the identity mapping feature extractor on diverse datasets. SpikePoint achieves state-of-the-art (SOTA) performance on four event-based action recognition datasets using only 16 timesteps, surpassing other SNN methods. Moreover, it also achieves SOTA performance across all methods on three datasets, utilizing approximately 0.3\% of the parameters and 0.5\% of power consumption employed by artificial neural networks (ANNs). These results emphasize the significance of Point Cloud and pave the way for many ultra-low-power event-based data processing applications.

研究の動機と目的

• 非同期的なイベントデータを静的フレームに変換することで生じる非効率性とスパarsity損失を解消すること。
• スパースな3次元イベントポイントクラウドをネイティブに処理しながら、微細な時間的情報を保持する、軽量でエンドツーエンド型のSNNアーキテクチャを開発すること。
• 1段階構造におけるサーヴェイグレントトレーニングとアイデンティティマッピングを活用することで、最小限のパラメータと超低消費電力で高い精度を達成すること。
• ポイントクラウド表現における負の相対座標値の対称性を保持する、新規の符号化方式を導入すること。
• イベントベースのアクション認識において、ポイントクラウドベースのSNNが、フレームベースやマルチステージ型SNN/ANNアプローチを上回ることを実証すること。

提案手法

• フレーム変換を経ずに、スパarsityと時間分解能を保持するため、イベントデータを3次元空間時間ポイントクラウドとして表現すること。
• 共通と分離されたブランチを備えた二重パス構造を用いて、局所的およびグローバル特徴を同時に抽出する、1段階のSNNアーキテクチャを設計すること。
• バックプロパゲーショントレーニングにサーヴェイグレント法を採用し、ANNをSNNに変換することなくエンドツーエンド最適化を可能にすること。
• 相対座標の負の値を適切に扱うために、絶対値の適用と重心正規化を組み合わせた、新規の符号化戦略を導入すること。
• パラメータ数を削減し、トレーニングの安定性を向上させるために、特徴抽出にアイデンティティマッピングを採用すること。
• 要素ごとの加算（Add）を用いた二重ブランチ統合メカニズムを実装し、局所的およびグローバル特徴を効果的に統合すること。

実験結果

リサーチクエスチョン

• RQ1 フレーム変換を経ずに、ポイントベースのSNNアーキテクチャがイベントカメラデータにおいて優れたアクション認識性能を達成できるか？
• RQ2 マルチステージ型やリーダンス構造を有するSNNと比較して、1段階SNNアーキテクチャは、精度、パラメータ効率、消費電力の観点でどのように差をつけるか？
• RQ3 相対座標データの符号化戦略、特に負の値を含むものに、SNN性能に及ぼす影響は何か？
• RQ4 最小限の時間ステップ（例：16）で実装された軽量SNNが、より大きなANNやSNNと同等またはそれを上回る精度を達成できるか、その程度は何か？
• RQ5 ポイントクラウド表現は、ボクセル化やフレームベース表現と比較して、時間的スパarsityを保持し、SNNのエネルギー効率を向上させられるか？

主な発見

• SpikePointは、16ステップの時間ステップで、Daily DVS、DVS128 Gesture、HMDB51-DVSを含む5つのイベントベースのアクション認識データセットにおいて、最先端の精度を達成した。
• Daily DVSデータセットでは、SpikePointは97.92%の精度を達成し、従来の最先端SNNを上回り、一部の競合するANNに対しても勝っている。
• 同等のANNと比較して、モデルは約0.3%のパラメータと0.5%の消費電力で、同等またはより高い精度を維持している。
• アブレーションスタディの結果、Add統合を用いた二重パス構造による局所的およびグローバル特徴抽出の組み合わせが、最も高い性能を示し、単一パスや連結ベースの設計を上回っていることが確認された。
• 最適な時間ステップは16であり、これ以上（例：24または32）に増加させると、過学習や時間的ずれの影響により精度が低下する。
• 絶対値と重心正規化を用いた符号化戦略は、特に負の座標値の処理において顕著に性能向上をもたらし、正規化や他のバリエーションを上回っている。