[논문 리뷰] EV-VGCNN: A Voxel Graph CNN for Event-based Object Classification

Yongjian Deng, Hao Chen외 2명|arXiv (Cornell University)|2021. 06. 01.

Advanced Memory and Neural Computing참고 문헌 54인용 수 7

한 줄 요약

EV-VGCNN는 이벤트 데이터를 희박한 볼록 기반 그래프로 모델링하여 객체 분류 정확도를 향상시키면서도 모델 복잡도를 감소시키는 경량 볼록 그래프 컨볼루션 신경망을 제안한다. 볼록 단위의 정점과 다중 척도 특징 관계 레이어를 사용함으로써, 단지 0.84M 파라미터로 최신 기술 수준의 성능을 달성한다—기존 방법들보다 거의 20배 적은 수치이다.

ABSTRACT

Event cameras report sparse intensity changes and hold noticeable advantages of low power consumption, high dynamic range, and high response speed for visual perception and understanding on portable devices. Event-based learning methods have recently achieved massive success on object recognition by integrating events into dense frame-based representations to apply traditional 2D learning algorithms. However, these approaches introduce much redundant information during the sparse-to-dense conversion and necessitate models with heavy-weight and large capacities, limiting the potential of event cameras on real-life applications. To address the core problem of balancing accuracy and model complexity for event-based classification models, we (1) construct graph representations for event data to utilize their sparsity nature better and design a lightweight end-to-end graph neural network (EV-VGCNN) for classification; (2) use voxel-wise vertices rather than traditional point-wise methods to incorporate the information from more points; (3) introduce a multi-scale feature relational layer (MFRL) to extract semantic and motion cues from each vertex adaptively concerning its distances to neighbors. Comprehensive experiments show that our approach advances state-of-the-art classification accuracy while achieving nearly 20 times parameter reduction (merely 0.84M parameters).

연구 동기 및 목표

• 이베스트 비전에서 분류 정확도와 모델 복잡도 사이의 상충 관계를 해결하기 위해.
• 기존의 밀도 있는 프레임 변환 방식이 아닌, 그래프 표현을 통해 이벤트 데이터의 희박성을 더 잘 활용하기 위해.
• 기존의 희박한 데이터에서 밀도 있는 데이터로의 변환 방식에서 유발되는 불필요한 정보와 계산 오버헤드를 줄이기 위해.
• 이베스트 오브젝트 인식에 특화된 경량이고 엔드 투 엔드 그래프 신경망을 설계하기 위해.
• 다중 척도 특징 관계 레이어를 통해 의미적 정보와 운동 신호를 적응적으로 통합하기 위해.

제안 방법

• 이 방법은 이벤트 데이터로부터 볼록 기반 그래프 표현을 구축하며, 볼록을 정점으로 사용하여 점별 방법보다 더 많은 정보를 유지함으로써 공간적 및 시간적 정보를 보존한다.
• 이들은 볼록화된 이벤트 그래프 위에서 직접 작동하는 그래프 컨볼루션 네트워크(GCN) 아키텍처를 활용하여 엔드 투 엔드 학습을 가능하게 한다.
• 각 정점의 이웃 정점까지의 거리 기반으로 특징을 추출하기 위해 다중 척도 특징 관계 레이어(MFRL)를 도입하여 국소적 및 전역적 맥락을 모두 포착한다.
• MFRL은 다양한 척도에서 특징을 적응적으로 집계함으로써, 모델이 운동 및 의미 패턴을 더 잘 포착할 수 있도록 한다.
• 전반적인 아키텍처는 낮은 파라미터 수를 최적화하여 정확도를 희생시키지 않은 채 높은 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 이벤트 데이터의 그래프 기반 표현은 분류 정확도를 향상시키면서도 모델 복잡도를 감소시킬 수 있는가?
• RQ2 점별 방법과 비교할 때 볼록 단위의 정점 구성은 희박성과 정보 유지에 얼마나 효과적인가?
• RQ3 다중 척도 특징 관계 레이어는 이벤트 그래프에서 특징 추출에 얼마나 기여하는가?
• RQ4 경량 그래프 네트워크가 이베스트 오브젝트 분류에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• EV-VGCNN는 이베스트 오브젝트 인식 벤치마크에서 최신 기술 수준의 분류 정확도를 달성한다.
• 모델의 파라미터 수는 단지 0.84M으로 줄어들어 이전 방법들보다 거의 20배 적다.
• 볼록 기반 그래프 표현은 점별 대안보다 더 많은 공간-시간 정보를 유지한다.
• 다중 척도 특징 관계 레이어는 이벤트 데이터로부터 의미적 정보와 운동 신호를 효과적으로 포착한다.