[論文レビュー] EV-VGCNN: A Voxel Graph CNN for Event-based Object Classification

Yongjian Deng, Hao Chen+2 more|arXiv (Cornell University)|Jun 1, 2021

Advanced Memory and Neural Computing参考文献 54被引用数 7

ひとこと要約

EV-VGCNNは、イベントデータをスパースボクセルベースのグラフとしてモデル化することで、オブジェクト分類の正確性を向上させるとともにモデルの複雑さを低減する軽量なボクセルグラフ畳み込みニューラルネットワークを提案する。ボクセル単位の頂点とマルチスケール特徴関係層を用いることで、わずか0.84Mパラメータで最先端の性能を達成し、従来手法と比べて約20倍少ない。

ABSTRACT

Event cameras report sparse intensity changes and hold noticeable advantages of low power consumption, high dynamic range, and high response speed for visual perception and understanding on portable devices. Event-based learning methods have recently achieved massive success on object recognition by integrating events into dense frame-based representations to apply traditional 2D learning algorithms. However, these approaches introduce much redundant information during the sparse-to-dense conversion and necessitate models with heavy-weight and large capacities, limiting the potential of event cameras on real-life applications. To address the core problem of balancing accuracy and model complexity for event-based classification models, we (1) construct graph representations for event data to utilize their sparsity nature better and design a lightweight end-to-end graph neural network (EV-VGCNN) for classification; (2) use voxel-wise vertices rather than traditional point-wise methods to incorporate the information from more points; (3) introduce a multi-scale feature relational layer (MFRL) to extract semantic and motion cues from each vertex adaptively concerning its distances to neighbors. Comprehensive experiments show that our approach advances state-of-the-art classification accuracy while achieving nearly 20 times parameter reduction (merely 0.84M parameters).

研究の動機と目的

• イベントビジョンにおける分類の正確性とモデルの複雑さのトレードオフを解消すること。
• 従来のスパースからデュアルへの変換ではなく、グラフ表現を用いることでイベントデータのスパarsityをより効果的に活用すること。
• 従来のスパースからデュアルへの変換手法がもたらす冗長な情報と計算オーバーヘッドを低減すること。
• イベントベースのオブジェクト認識に特化した軽量でエンドツーエンドのグラフニューラルネットワークを設計すること。
• マルチスケール特徴関係層を用いて、意味的および運動的ヒントを適応的に統合すること。

提案手法

• 本手法は、イベントデータからボクセルベースのグラフ表現を構築し、ボクセルを頂点として用いることで、ポイント単位の手法よりも多くの点から得られる空間的・時間的情報を保持する。
• ボクセル化されたイベントグラフ上で直接動作するグラフ畳み込みネットワーク（GCN）アーキテクチャを採用し、エンドツーエンド学習を可能にする。
• 各頂点の隣接頂点までの距離に基づいて特徴を抽出するためのマルチスケール特徴関係層（MFRL）を導入し、局所的およびグローバルな文脈を捉える。
• MFRLは複数スケールにわたる特徴を適応的に集約し、運動および意味的パターンの捉えを強化する。
• 全体のアーキテクチャはパラメータ数を最小限に抑えるように最適化されており、正確性を損なわず高い効率性を達成している。

実験結果

リサーチクエスチョン

• RQ1 イベントデータのグラフ表現は、分類の正確性を向上させるとともにモデルの複雑さを低減できるか？
• RQ2 ボクセル単位の頂点構築は、ポイント単位の手法と比較してスパarsityと情報の保持をどの程度効果的に維持できるか？
• RQ3 マルチスケール特徴関係層は、イベントグラフからの特徴抽出をどの程度向上できるか？
• RQ4 軽量なグラフネットワークは、イベントベースのオブジェクト分類で最先端の性能を達成できるか？

主な発見

• EV-VGCNNは、イベントベースのオブジェクト認識ベンチマークで最先端の分類正確性を達成した。
• モデルのパラメータ数はわずか0.84百万にまで削減され、従来手法と比べて約20倍の削減となった。
• ボクセルベースのグラフ表現は、ポイント単位の代替手法よりも空間的・時間的情報をより多く保持している。
• マルチスケール特徴関係層は、イベントデータからの意味的および運動的ヒントを効果的に捉えている。