[논문 리뷰] Graph-Based Object Classification for Neuromorphic Vision Sensing

Yin Bi, Aaron Chadha외 3명|arXiv (Cornell University)|2019. 08. 19.

Advanced Memory and Neural Computing참고 문헌 34인용 수 8

한 줄 요약

이 논문은 뉴모르픽 비전 센서(NVS) 스파ike 이벤트를 그래프 기반 표현으로 제안하고, 엔드 투 엔드 객체 분류를 위한 잔차 그래프 컨볼루션 신경망(RG-CNNs)을 도입한다. 시공간 스파이크 패턴을 그래프로 모델링함으로써, 기존 ResNet50 대비 5배 낮은 계산량으로 최신 기술 수준의 정확도를 달성하였으며, 벤치마킹을 위해 실생활 조건에서 수집한 100만 개 샘플의 미국 수어 문자 NVS 데이터셋을 새롭게 제안한다.

ABSTRACT

Neuromorphic vision sensing (NVS)\ devices represent visual information as sequences of asynchronous discrete events (a.k.a., ``spikes'') in response to changes in scene reflectance. Unlike conventional active pixel sensing (APS), NVS allows for significantly higher event sampling rates at substantially increased energy efficiency and robustness to illumination changes. However, object classification with NVS streams cannot leverage on state-of-the-art convolutional neural networks (CNNs), since NVS does not produce frame representations. To circumvent this mismatch between sensing and processing with CNNs, we propose a compact graph representation for NVS. We couple this with novel residual graph CNN architectures and show that, when trained on spatio-temporal NVS data for object classification, such residual graph CNNs preserve the spatial and temporal coherence of spike events, while requiring less computation and memory. Finally, to address the absence of large real-world NVS datasets for complex recognition tasks, we present and make available a 100k dataset of NVS recordings of the American sign language letters, acquired with an iniLabs DAVIS240c device under real-world conditions.

연구 동기 및 목표

• 프레임 기반의 구조가 없고 전통적인 CNN에 부적합한 뉴모르픽 비전 센싱(NVS) 데이터에 대한 효과적인 딥 러닝 방법의 부족을 해결하기 위해.
• 시공간적 일관성을 유지하면서도 컴act하고 효율적이며 엔드 투 엔드로 학습 가능한 NVS 스파이크 이벤트 표현을 개발하기 위해.
• 복잡한 인식 작업을 위한 대규모 실생활 레이블이 부여된 NVS 데이터셋의 부족 문제를 해결하기 위해.
• 비동기 이벤트 스트림에서 그래프 기반 딥 러닝을 활용해 고정확도, 저복잡도의 객체 분류를 가능하게 하기 위해.

제안 방법

• 노드가 공간적 위치와 타임스탬프에 대응하고, 간선이 시간적 및 공간적 근접성을 표현하는 동적 그래프로 NVS 스파이크 이벤트를 표현하기.
• 학습 가능한 필터와 스킵 연결을 갖춘 새로운 잔차 그래프 컨볼루션 신경망(RG-CNN) 아키텍처를 설계하여 그래프 구조 데이터를 처리하기.
• 지역 지원을 보장하고 FLOPs를 감소시키기 위해 그래프 컨볼루션에 B-spline 기저 함수를 적용하며, 커널 크기와 무관하게 적용된다.
• 각 그래프 컨볼루션 이후 최대 풀링 레이어를 적용하여 그래프를 다운샘플링하면서도 구조적 정보를 유지하기.
• 이중 단계 학습 파이프라인 적용: 먼저 합성 이벤트 기반 데이터셋에서의 사전 학습, 그 후 실생활 NVS 데이터에서의 미세조정.
• 스파이크 스트림으로부터 공간적 버킷화와 시간적 집계를 통해 이벤트 이미지를 구성하여 기존 CNN과의 비교를 가능하게 하기.

실험 결과

연구 질문

• RQ1 그래프 기반 표현이 뉴모르픽 비전 센서(NVS) 스파이크 이벤트의 시공간 역학을 객체 분류에 효과적으로 모델링할 수 있는가?
• RQ2 잔차 그래프 CNN 아키텍처가 NVS 데이터에서 정확도를 높이면서도 계산 비용을 감소시켜 기존의 CNN 및 이벤트 기반 방법을 능가하는가?
• RQ3 그래프 컨볼루션 신경망의 깊이와 커널 크기가 성능과 모델 복잡도에 어떤 영향을 미치는가?
• RQ4 실생활에서 수집된 대규모이고 잘 레이블이 부여된 NVS 데이터셋이 객체 분류 모델의 일반화 능력 향상과 벤치마킹에 기여하는가?
• RQ5 제안된 방법이 NVS 데이터에 적용되었을 때, 표준 CNN인 ResNet50에 비해 계산량과 메모리 사용량을 얼마나 줄이는가?

주요 결과

• 제안된 RG-CNN는 동일한 입력 해상도에서 N-Caltech101 데이터셋에서 상위 1 정확도 65.7%를 달성하였으며, ResNet50(63.7%)를 뛰어넘었고, 오직 0.79 GFLOPs의 계산량만을 사용하였다.
• 네 개의 그래프 컨볼루션 레이어(D=4)를 가진 모델이 정확도(63.0%)와 복잡도(0.39 GFLOPs) 사이의 최적의 트레이드오프를 달성하였으며, 더 깊은 모델들보다 더 낮은 FLOPs로 성능을 뛰어넘었다.
• 그래프 컨볼루션에서 커널 크기 5가 테스트된 크기들(2–6) 중에서 가장 높은 정확도(63.0%)를 기록하였고, 모델 크기 증가율은 중간 수준(18.81 MB)에 머물렀다.
• 제안된 그래프 기반 방법은 ResNet50 대비 FLOPs의 1/5에 불과한 계산량으로 높은 정확도를 달성하여 뚜렷한 효율성 향상을 보였다.
• 실생활 조건에서 수집한 미국 수어 문자의 100만 개 샘플을 포함한 새로운 NVS 데이터셋은 지금까지 공개된 실생활 레이블이 부여된 가장 큰 NVS 데이터셋이다.
• RG-CNN는 N-Caltech101 및 새로운 ASL 데이터셋을 포함한 여러 벤치마크에서 최신 기술 수준의 방법들을 능가하거나 동등하게 성능을 내며, 낮은 추론 비용을 유지하였다.