[論文レビュー] AEGNN: Asynchronous Event-based Graph Neural Networks

Simon Schaefer, Daniel Gehrig+1 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

AEGNNは、非同期的なイベントを進化する時空間グラフとして処理する画期的なグラフニューラルネットワークフレームワークを導入し、各イベントごとに影響を受けるノードのみを更新することで、計算量とレイテンシを著しく削減する。オブジェクト分類および検出タスクにおいて、標準のGNNと比較して最大11倍少ないFLOPs、8倍低いレイテンシを達成しながら、最先端の性能を同等または上回る。

ABSTRACT

The best performing learning algorithms devised for event cameras work by first converting events into dense representations that are then processed using standard CNNs. However, these steps discard both the sparsity and high temporal resolution of events, leading to high computational burden and latency. For this reason, recent works have adopted Graph Neural Networks (GNNs), which process events as ``static" spatio-temporal graphs, which are inherently "sparse". We take this trend one step further by introducing Asynchronous, Event-based Graph Neural Networks (AEGNNs), a novel event-processing paradigm that generalizes standard GNNs to process events as ``evolving" spatio-temporal graphs. AEGNNs follow efficient update rules that restrict recomputation of network activations only to the nodes affected by each new event, thereby significantly reducing both computation and latency for event-by-event processing. AEGNNs are easily trained on synchronous inputs and can be converted to efficient, "asynchronous" networks at test time. We thoroughly validate our method on object classification and detection tasks, where we show an up to a 11-fold reduction in computational complexity (FLOPs), with similar or even better performance than state-of-the-art asynchronous methods. This reduction in computation directly translates to an 8-fold reduction in computational latency when compared to standard GNNs, which opens the door to low-latency event-based processing.

研究の動機と目的

• 標準のCNNおよびGNNを用いたイベントカメラデータの処理における高い計算コストとレイテンシを低減すること。
• 各イベントごとにネットワーク全体の活性化を再計算する非効率性を克服し、局所的でイベント駆動の更新を可能にすること。
• リアルタイムアプリケーションに適した効率的な推論を可能にするために、イベントデータの高時間分解能とスパarsityを維持すること。
• バックプロパゲーションを用いてバッチイベントで学習し、性能に損なわれることなく非同期モードでデプロイ可能にすること。
• 効率的で段階的な更新を可能にすることで、標準のGNNをイベントストリームの動的かつ進化する性質に対応可能にする拡張。

提案手法

• ピクセルに対応するノードと空間的近接性を表すエッジを持つ時空間グラフとしてイベントを表現し、特徴量は明るさの変化を符号化する。
• 新しいイベントによって影響を受けるノードの活性化のみを再計算する非同期更新ルールを導入し、余分な計算を最小限に抑える。
• 空間的幾何をグラフ畳み込みに組み込むためにSplineConvレイヤーを用い、擬似座標とBスプライン基底関数を用いて特徴表現を向上させる。
• 標準的なバックプロパゲーションを用いてバッチイベントデータでネットワークを学習し、推論時に非同期モードに変換する。
• 認識および検出アーキテクチャの両方で特徴の階層的表現と勾配の流れを向上させるために、マックスプーリングとスキップ接続を適用する。
• イベントのスパarsityを活用し、各イベントごとに完全な順方向伝搬を回避することで、計算複雑度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、静的グラフではなく、進化する時空間グラフとしてイベントを処理できるように一般化できるか？
• RQ2 GNNにおける局所的でイベント駆動の更新は、全再計算と比較して計算複雑度と推論レイテンシを顕著に低減できるか？
• RQ3 提案された非同期更新メカニズムは、最先端の手法と比較して、イベントベースビジョンタスクの性能を維持または向上できるか？
• RQ4 バッチイベントで学習したモデルは、性能に劣化を来すことなく、非同期的でイベント単位の推論モードで効果的にデプロイ可能か？
• RQ5 イベントデータのスパarsityと高時間分解能は、ディープラーニングアーキテクチャでどの程度維持され、活用可能か？

主な発見

• AEGNNは、オブジェクト分類および検出タスクにおいて、標準のGNNと比較して最大11倍少ないFLOPsで計算複雑度を低減する。
• 標準のGNNと比較して8倍低い計算レイテンシを達成し、リアルタイム処理を可能にする。
• 計算量を著しく削減しているにもかかわらず、オブジェクト分類および検出タスクにおける性能は、最先端の非同期手法と同等または上回る。
• バッチ学習後に非同期モードでデプロイしても、出力が同一のままであるため、学習と推論モードの間に一貫性が保たれる。
• Bスプライン基底関数と擬似座標を用いたSplineConvレイヤーは、隣接するイベント間の空間的関係を符号化することで、特徴表現を向上させる。
• スキップ接続とマックスプーリングの使用は、特徴学習と勾配の流れを強化し、複雑なタスクにおける頑健な性能に寄与する。