[논문 리뷰] Event-based Simultaneous Localization and Mapping: A Comprehensive Survey

Kunping Huang, Sen Zhang외 2명|arXiv (Cornell University)|2023. 04. 19.

Advanced Memory and Neural Computing인용 수 18

한 줄 요약

이 설문은 비동기 이벤트 스트림을 활용하는 이벤트 기반 vSLAM 시스템을 검토하고, 방법을 특징 기반, 직접적, 모션 보정 및 딥 러닝 접근법으로 분류하며, 표현, 성능, 도전과제 및 향후 방향에 대해 논의한다.

ABSTRACT

In recent decades, visual simultaneous localization and mapping (vSLAM) has gained significant interest in both academia and industry. It estimates camera motion and reconstructs the environment concurrently using visual sensors on a moving robot. However, conventional cameras are limited by hardware, including motion blur and low dynamic range, which can negatively impact performance in challenging scenarios like high-speed motion and high dynamic range illumination. Recent studies have demonstrated that event cameras, a new type of bio-inspired visual sensor, offer advantages such as high temporal resolution, dynamic range, low power consumption, and low latency. This paper presents a timely and comprehensive review of event-based vSLAM algorithms that exploit the benefits of asynchronous and irregular event streams for localization and mapping tasks. The review covers the working principle of event cameras and various event representations for preprocessing event data. It also categorizes event-based vSLAM methods into four main categories: feature-based, direct, motion-compensation, and deep learning methods, with detailed discussions and practical guidance for each approach. Furthermore, the paper evaluates the state-of-the-art methods on various benchmarks, highlighting current challenges and future opportunities in this emerging research area. A public repository will be maintained to keep track of the rapid developments in this field at {\url{https://github.com/kun150kun/ESLAM-survey}}.

연구 동기 및 목표

• 고속 및 HDR 시나리오에서 vSLAM을 위한 이벤트 카메라의 작동 원리와 이점을 설명한다.
• 방법론 및 데이터 표현에 따라 주요 이벤트 기반 vSLAM 접근법을 분류하고 분석한다.
• 벤치마크에서의 성능을 요약하고 남아 있는 도전 과제와 향후 연구 기회를 식별한다.
• 이벤트 기반 SLAM의 발전을 추적하기 위한 가이드와 공개 저장소를 제공한다.

제안 방법

• 대비 임계값 및 잡음 고려를 포함한 이벤트 카메라의 작동 원리와 이벤트 생성 모델을 설명한다.
• 일반적인 이벤트 표현(개별 이벤트, 이벤트 패킷, 이벤트 프레임, 시간 표면, 모션 보정 프레임, 보셀 격자, 재구성 이미지)을 검토한다.
• 네 가지 카테고리의 이벤트 기반 vSLAM 방법(특징 기반, 직접, 모션 보정, 딥 러닝 방법)을 체계적으로 검토하고 데이터 연결 및 최적화 전략을 상세히 설명한다.
• 점 기반 및 선 기반 특징과 학습 기반 접근법을 포함하여 이벤트 데이터의 특징 추출, 추적 및 카메라 추적/맵핑 파이프라인을 논의한다.
• 데이터셋과 벤치마크에서의 최첨단 성능을 요약하고 도전과제 및 향후 방향을 논의한다.

실험 결과

연구 질문

• RQ1 vSLAM에서 사용되는 주요 이벤트 데이터 표현은 무엇이며, 이것들이 성능에 어떤 영향을 미치는가?
• RQ2 특징 기반, 직접, 모션 보정 및 딥 러닝 방법은 이벤트 스트림에서 데이터 연결을 어떻게 확립하고 카메라 포즈와 맵을 어떻게 추정하는가?
• RQ3 이벤트 기반 vSLAM의 현재 도전 과제는 무엇이며 가장 유망해 보이는 향후 방향은 무엇인가?
• RQ4 벤치마크 시나리오에서 이벤트 기반 방법은 프레임 기반 SLAM과 어떻게 비교되는가?
• RQ5 최신 이벤트 기반 vSLAM 방법을 평가하는 데 사용되는 데이터셋과 벤치마크는 무엇인가?

주요 결과

• 이벤트 카메라는 높은 시간 해상도, 넓은 다이나믹 레인지, 낮은 지연 및 낮은 전력 소비를 제공하여 도전적인 조명 및 모션 조건에서 vSLAM을 가능하게 한다.
• 이벤트 기반 vSLAM 방법은 네 가지 주요 유형으로 분류된다: 특징 기반, 직접, 모션 보정, 딥 러닝 접근법.
• 다양한 이벤트 표현(개별 이벤트, 이벤트 패킷, 이벤트 프레임, 시간 표면, 보셀 격자)이 지연 시간과 계산 간 균형을 맞추는 데 사용된다.
• 특징 기반 방법은 특징(점과 선)을 추출하고 추적하여 카메라 포즈와 3D 랜드마크를 추정하며 때로는 학습 기반 검출기와 기술자를 사용한다.
• 직접 방법은 이벤트 데이터를 광도 기반 또는 에지 기반 표현으로 정렬하고, 모션 보정 방법은 가용할 때 모션 모델과 IMU 데이터를 사용하여 이벤트를 기준 프레임으로 왜곡한다.
• 딥 러닝 접근법은 CNN이나 SNN으로 이벤트 데이터를 처리해 모션, 깊이 또는 표현을 예측하며, 종종 합성 데이터로 학습하고 실제 데이터로 미세 조정한다.