[论文解读] EV-VGCNN: A Voxel Graph CNN for Event-based Object Classification

Yongjian Deng, Hao Chen+2 more|arXiv (Cornell University)|Jun 1, 2021

Advanced Memory and Neural Computing参考文献 54被引用 7

一句话总结

EV-VGCNN 提出了一种轻量级体素图卷积神经网络，将事件数据建模为稀疏体素图，以在降低模型复杂度的同时提高目标分类准确率。通过使用体素级节点和多尺度特征关系层，其仅用 0.84M 参数即实现了最先进性能——较先前方法减少近 20 倍。

ABSTRACT

Event cameras report sparse intensity changes and hold noticeable advantages of low power consumption, high dynamic range, and high response speed for visual perception and understanding on portable devices. Event-based learning methods have recently achieved massive success on object recognition by integrating events into dense frame-based representations to apply traditional 2D learning algorithms. However, these approaches introduce much redundant information during the sparse-to-dense conversion and necessitate models with heavy-weight and large capacities, limiting the potential of event cameras on real-life applications. To address the core problem of balancing accuracy and model complexity for event-based classification models, we (1) construct graph representations for event data to utilize their sparsity nature better and design a lightweight end-to-end graph neural network (EV-VGCNN) for classification; (2) use voxel-wise vertices rather than traditional point-wise methods to incorporate the information from more points; (3) introduce a multi-scale feature relational layer (MFRL) to extract semantic and motion cues from each vertex adaptively concerning its distances to neighbors. Comprehensive experiments show that our approach advances state-of-the-art classification accuracy while achieving nearly 20 times parameter reduction (merely 0.84M parameters).

研究动机与目标

• 为解决基于事件视觉中分类准确率与模型复杂度之间的权衡问题。
• 通过构建图表示而非密集帧转换，更好地利用事件数据的稀疏性。
• 减少传统稀疏到密集事件转换方法引入的冗余信息与计算开销。
• 设计一种专用于基于事件目标识别的轻量级端到端图神经网络。
• 通过多尺度特征关系层自适应地融合语义与运动线索。

提出的方法

• 该方法从事件数据构建基于体素的图表示，使用体素作为节点，以保留比点级方法更多的空间与时间信息。
• 采用图卷积网络（GCN）架构，直接在体素化事件图上运行，支持端到端学习。
• 引入多尺度特征关系层（MFRL），基于节点与其邻近节点的距离提取特征，捕捉局部与全局上下文信息。
• MFRL 自适应地在多尺度上聚合特征，增强模型捕捉运动与语义模式的能力。
• 整体架构经过优化，参数量极低，实现高效率且不损失准确率。

实验结果

研究问题

• RQ1 基于图的事件数据表示是否能在降低模型复杂度的同时提升分类准确率？
• RQ2 体素级节点构建方式与点级方法相比，在保持稀疏性与信息完整性方面表现如何？
• RQ3 多尺度特征关系层在从事件图中提取特征方面能提升到何种程度？
• RQ4 轻量级图网络是否能在基于事件的目标分类任务中实现最先进性能？

主要发现

• EV-VGCNN 在基于事件的目标识别基准上实现了最先进分类准确率。
• 模型参数量仅为 0.84 百万，相比先前方法减少近 20 倍。
• 基于体素的图表示比点级替代方法保留了更多时空信息。
• 多尺度特征关系层能有效捕捉事件数据中的语义与运动线索。