[논문 리뷰] DART: Distribution Aware Retinal Transform for Event-based Cameras

Bharath Ramesh, Hong Yang외 4명|arXiv (Cornell University)|2017. 10. 30.

Advanced Memory and Neural ComputingEngineering참고 문헌 52인용 수 22

한 줄 요약

이 논문은 뉴모르픽 카메라에서 발생하는 시공간 이벤트 데이터를 로그-극좌표 격자로 인코딩하여 물체 분류, 추적, 검출 및 특징 매칭을 위한 강건한 특징 기술자(DART)를 제안한다. DART는 여러 이벤트 기반 데이터셋에서 최신 기술 수준의 성능을 달성하며, MNIST-DVS에서 99%의 정확도와 UAV에서 실시간 분류를 구현한다.

ABSTRACT

We introduce a generic visual descriptor, termed as distribution aware retinal transform (DART), that encodes the structural context using log-polar grids for event cameras. The DART descriptor is applied to four different problems, namely object classification, tracking, detection and feature matching: (1) The DART features are directly employed as local descriptors in a bag-of-features classification framework and testing is carried out on four standard event-based object datasets (N-MNIST, MNIST-DVS, CIFAR10-DVS, NCaltech-101). (2) Extending the classification system, tracking is demonstrated using two key novelties: (i) For overcoming the low-sample problem for the one-shot learning of a binary classifier, statistical bootstrapping is leveraged with online learning; (ii) To achieve tracker robustness, the scale and rotation equivariance property of the DART descriptors is exploited for the one-shot learning. (3) To solve the long-term object tracking problem, an object detector is designed using the principle of cluster majority voting. The detection scheme is then combined with the tracker to result in a high intersection-over-union score with augmented ground truth annotations on the publicly available event camera dataset. (4) Finally, the event context encoded by DART greatly simplifies the feature correspondence problem, especially for spatio-temporal slices far apart in time, which has not been explicitly tackled in the event-based vision domain.

연구 동기 및 목표

• 로그-극좌표 격자를 사용하여 구조적 맥락을 포착하는 일반적이고 강건한 이벤트 기반 카메라용 시각 기술자를 개발한다.
• 이벤트 기반 시각에서 극한의 운동, 가림, 시점 변화 상황에서도 물체 인식 및 추적 문제를 해결한다.
• 이벤트 스트림 데이터를 이용한 장기적 물체 추적을 위한 실시간, 일회성 학습을 가능하게 한다.
• 공개 데이터셋의 정답 주석을 보강하여 이벤트 기반 장기적 물체 추적에 대한 벤치마크를 구축한다.
• 이벤트 기반 시각에서 먼 시간 간격에 걸친 시공간 특징 대응을 단순화한다.

제안 방법

• 최근 이벤트 중심의 로그-극좌표 격자에 과거 이벤트를 매핑하여, 각 격자에 대한 보간된 이벤트 수를 기반으로 기술자를 구성한다.
• 공간 빈(bin)을 사용하여 실시간으로 이벤트 하나씩 업데이트하며, 정확한 시공간 정보를 유지한다.
• DART 기술자의 정규화로 밝기 변화 및 운동에 대한 강건성을 확보하고 상대적 이벤트 분포를 포착한다.
• 분류를 위해 DART 특징은 다중 척도 테스트를 통해 척도 불변성을 향상시키는 bag-of-words 프레임워크에 사용된다.
• 추적을 위해 일회성 학습 프레임워크는 통계적 부트스트랩핑과 DART 기술자의 원형 이동을 활용하여 회전 및 척도에 대한 강건성을 향상시킨다.
• 장기적 물체 추적 시스템(eLOT)은 국소 검색 추적기와 글로벌 검출 모듈을 조합하여 군집 다수결 투표 방식을 사용해 재진입 후 재초기화한다.

실험 결과

연구 질문

• RQ1 로그-극좌표 기반 기술자가 스케일, 회전, 시점 변화에 따라 다양한 이벤트 기반 데이터에서 강건한 물체 분류를 달성할 수 있는가?
• RQ2 제한된 학습 데이터로 이벤트 기반 물체 추적을 위한 일회성 학습을 어떻게 강건하게 만들 수 있는가?
• RQ3 하이브리드 추적기-검출기 프레임워크는 물체 재진입과 가림 상황을 효과적으로 다룰 수 있는가?
• RQ4 DART 기술자가 시간적으로 떨어진, 공간적으로 다양하게 변하는 이벤트 스트림 간에 신뢰할 수 있는 특징 매칭을 얼마나 잘 가능하게 하는가?
• RQ5 제안된 시스템은 UAV와 같은 임베디드 플랫폼에서 이벤트 기반 데이터를 사용해 실시간 성능를 달성할 수 있는가?

주요 결과

• DART는 MNIST-DVS 데이터셋에서 99%의 분류 정확도를 달성하여 기존 방법을 능가한다.
• CIFAR10-DVS에서 DART는 65.43%의 정확도를 기록하여 복잡한 물체 인식 작업에서 강력한 성능을 보였다.
• NCaltech-101에서 DART는 70.33%의 정확도를 기록하여 자연 이미지 유사 이벤트 데이터에서의 효과성을 입증했다.
• eLOT 시스템은 6-DOF를 포함한 다양한 카메라 운동 프로파일에서 높은 IoU 점수를 기록하며 강건한 장기적 추적 성능를 보였다.
• Intel Compute Stick에 탑재된 Intel Core m5-6Y57 vPro 프로세서를 사용해 UAV에서 실시간 성능를 달성했다.
• DART를 활용한 특징 매칭은 큰 시간 간격과 스케일/회전 변화 조건에서도 가림이나 빠른 카메라 운동 상황에서도 성공적으로 특징을 매칭했다.