[論文レビュー] Graph-based Asynchronous Event Processing for Rapid Object Recognition

Yijin Li, Han Zhou+5 more|arXiv (Cornell University)|Aug 28, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、イベントクラウドのための特別な半径探索と段階的グラフ畳み込みを導入することで、ナイーブなスライディングウィンドウ手法に比べて計算複雑度を最大100倍まで低減しつつ、リアルタイムで効率的かつイベント単位での認識を実現するグラフベースの非同期イベント処理フレームワーク、SlideGCNを提案する。高い正確性を達成するとともに、高い信頼性で早期認識を可能にする。

ABSTRACT

Different from traditional video cameras, event cameras capture asynchronous events stream in which each event encodes pixel location, trigger time, and the polarity of the brightness changes. In this paper, we introduce a novel graph-based framework for event cameras, namely SlideGCN. Unlike some recent graph-based methods that use groups of events as input, our approach can efficiently process data event-by-event, unlock the low latency nature of events data while still maintaining the graph's structure internally. For fast graph construction, we develop a radius search algorithm, which better exploits the partial regular structure of event cloud against k-d tree based generic methods. Experiments show that our method reduces the computational complexity up to 100 times with respect to current graph-based methods while keeping state-of-the-art performance on object recognition. Moreover, we verify the superiority of event-wise processing with our method. When the state becomes stable, we can give a prediction with high confidence, thus making an early recognition. Project page: \url{https://zju3dv.github.io/slide_gcn/}.

研究の動機と目的

• イベントベースの物体認識における低レイテンシーと高正確性のトレードオフを解消すること。
• 性能を損なわせることなく、グラフベース手法において真のイベント単位処理を可能にすること。
• スパarsな非同期イベントストリームにおけるグラフ構築および推論の計算複雑度を低減すること。
• イベント処理中に安定した予測状態と高い信頼性を検出することで、早期認識を可能にすること。
• 2次元グリッド構造を有するイベントクラウドに特化した半径探索アルゴリズムを設計すること。

提案手法

• 直前のグラフ状態からの特徴量を再利用し、新たに追加されたノードの周辺でのみ特徴量を更新する段階的グラフ畳み込み（スライド畳み込み）を導入する。
• 時間ステップに跨る動的グラフトポロジーに対応するためのマルチレイヤーGCN用の伝搬ルールを導出することで、再計算を最小限に抑える。
• イベントクラウドの2次元グリッド構造を活用したピクセルキューに基づく半径探索アルゴリズムを提案し、探索コストを半減させるとともに、挿入・削除操作をO(1)にまで低減する。
• 予測信頼度を監視するステートアウェアモジュールを採用し、安定状態に達した際に早期認識をトリガーする。
• 再帰的なグラフ更新を伴うスライディングウィンドウ戦略を採用することで、時間的整合性を維持するとともに、冗長な計算を最小限に抑える。
• イベント単位処理とグラフニューラルネットワークを統合することで、イベントデータのスパarsityと時間分解能を保持する。

実験結果

リサーチクエスチョン

• RQ1 グラフベース手法は、認識正確性を損なわせることなく、低レイテンシーかつイベント単位処理を達成できるか？
• RQ2 動的イベントストリームにおける計算コストを低減するために、グラフ畳み込みをどのように段階的に実装できるか？
• RQ3 2次元イベントクラウドに特化した半径探索アルゴリズムは、グラフ構築を顕著に高速化できるか？
• RQ4 イベント単位処理は、バッチ処理手法に比べてより早期かつ信頼性の高い認識を可能にするか？
• RQ5 イベントベース認識において、レイテンシー、計算コスト、正確性のトレードオフはどのように変化するか？

主な発見

• SlideGCNは、ナイーブなスライディングウィンドウグラフ畳み込み手法に比べて、計算複雑度を最大100倍まで低減した。
• ストリームベースの物体認識において、スレートオブジェクト認識の最先端の正確性（0.669）を達成し、50msウィンドウのバッチ処理手法（0.761）と同等の性能を発揮した。
• SlideGCNは高い信頼性で早期認識を可能にし、12ms（イベントインデックス3118）で反応したのに対し、バッチ処理手法では50ms（イベントインデックス19154）を要した。
• 提案された半径探索アルゴリズムにより、探索時間を50%削減し、イベントクラウドの2次元グリッド構造を活用することで挿入・削除コストをO(1)にまで低減した。
• イベント単位処理の累積MFLOPSは17,711（バッチサイズ1）であり、バッチ処理（1,152）よりも高いが、顕著なレイテンシー低減を実現した。
• ミニバッチサイズ100の場合、SlideGCNは低レイテンシーと計算負荷の低減の両立を達成し、リアルタイムデプロイメントに実用的なトレードオフを提供した。