[논문 리뷰] The Event-Camera Dataset: Event-based Data for Pose Estimation, Visual Odometry, and SLAM

Elias Mueggler, Henri Rebecq외 3명|arXiv (Cornell University)|2016. 10. 26.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 DAVIS 센서를 사용해 이벤트 기반 및 전통적인 글로벌 셔터 영상 촬영을 결합한 다중모달 데이터셋인 이벤트 카메라 데이터셋을 소개한다. 이 데이터셋에는 관성측정장치(IMU) 데이터와 운동추적 시스템에서 제공하는 정밀한 실제 자세 데이터가 포함되어 있다. 이 데이터셋은 고속, 고다이나믹 레인지 환경에서의 로봇공학 연구를 가능하게 하며, 동기화된 이벤트 스트림, 강도 프레임, IMU 데이터, 그리고 자세 추정, 시각적 온도미터리, SLAM 알고리즘 평가에 적합한 정확한 자세 레이블을 제공한다.

ABSTRACT

New vision sensors, such as the Dynamic and Active-pixel Vision sensor (DAVIS), incorporate a conventional global-shutter camera and an event-based sensor in the same pixel array. These sensors have great potential for high-speed robotics and computer vision because they allow us to combine the benefits of conventional cameras with those of event-based sensors: low latency, high temporal resolution, and very high dynamic range. However, new algorithms are required to exploit the sensor characteristics and cope with its unconventional output, which consists of a stream of asynchronous brightness changes (called events) and synchronous grayscale frames. For this purpose, we present and release a collection of datasets captured with a DAVIS in a variety of synthetic and real environments, which we hope will motivate research on new algorithms for high-speed and high-dynamic-range robotics and computer-vision applications. In addition to global-shutter intensity images and asynchronous events, we provide inertial measurements and ground-truth camera poses from a motion-capture system. The latter allows comparing the pose accuracy of ego-motion estimation algorithms quantitatively. All the data are released both as standard text files and binary files (i.e., rosbag). This paper provides an overview of the available data and describes a simulator that we release open-source to create synthetic event-camera data.

연구 동기 및 목표

• 이벤트 기반 시각화를 위한 표준화된 다중모달 데이터셋의 부족을 해결하기 위해, 동기화된 이벤트, 영상, IMU, 실제 자세 데이터의 종합적인 컬렉션을 제공한다.
• 고속 및 고다이나믹 레인지 환경에서 자세 추정, 시각적 온도미터리, SLAM 알고리즘의 개발 및 평가를 지원한다.
• 운동추적 시스템에서 제공하는 실제 카메라 자세 데이터를 포함하여, 자가운동 추정 알고리즘의 정량적 비교를 가능하게 한다.
• 이벤트 카메라 데이터를 생성하기 위한 오픈소스 시뮬레이터를 공개함으로써 합성 데이터 생성을 촉진한다.
• 표준 텍스트 및 바이너리(rosgen) 형식으로 데이터를 공개하여, 보편적인 접근성을 확보함으로써 이벤트 기반 컴퓨터 비전 분야의 연구를 촉진한다.

제안 방법

• 데이터셋은 글로벌 셔터 카메라와 이벤트 기반 센서를 하나의 픽셀 어레이에 통합한 DAVIS 센서를 사용해 촬영되었다.
• 데이터셋에는 밝기 변화를 나타내는 异상 이벤트 스트림, 동기화된 회색조 강도 프레임, IMU에서 얻은 관성 측정 데이터, 그리고 운동추적 시스템에서 제공하는 실제 카메라 자세 데이터가 포함되어 있다.
• 모든 데이터는 로봇공학 및 컴퓨터 비전 소프트웨어 스택과의 통합을 지원하기 위해 텍스트 형식과 바이너리(rosgen) 형식으로 동시에 공개된다.
• 제어된 실험과 알고리즘 검증을 가능하게 하기 위해, 합성 이벤트 카메라 데이터를 생성하기 위한 오픈소스 시뮬레이터가 개발되었다.
• 실제 환경과 합성 환경을 아우르는 다양한 환경을 포함하여, 다양한 조건에서의 알고리즘 평가에 적합한 데이터셋을 구성하였다.
• 실제 자세 데이터의 포함으로 인해 자가운동 추정 성능의 정량적 벤치마킹이 가능해졌다.

실험 결과

연구 질문

• RQ1 로봇공학에서 고속 운동 추정 성능을 향상시키기 위해 이벤트 기반 영상과 전통적 영상 데이터를 효과적으로 융합하는 방법은 무엇인가?
• RQ2 고시간 해상도와 넓은 다이나믹 레인지가 도전적인 환경에서 시각적 온도미터리 및 SLAM 성능에 미치는 영향은 어떠한가?
• RQ3 운동추적 시스템에서 제공하는 실제 자세 데이터를 사용해 자가운동 추정 알고리즘의 정확도를 얼마나 정밀하게 평가할 수 있는가?
• RQ4 공개된 오픈소스 시뮬레이터로 생성된 합성 이벤트 카메라 데이터가 실제 센서 특성을 얼마나 잘 재현할 수 있는가?
• RQ5 실시간 응용 프로그램에서 비동기 이벤트 스트림과 동기 영상 프레임을 처리할 때 발생하는 실질적 과제는 무엇인가?

주요 결과

• 이 데이터셋은 고속 및 고다이나믹 레인지 응용 분야를 위한 이벤트 기반 데이터, 강도 프레임, IMU 측정값, 실제 자세 데이터를 종합적으로 통합한 다중모달 자원을 제공한다.
• 실제 자세 데이터의 포함으로 인해 자세 추정 알고리즘의 정밀한 정량적 평가가 가능해졌으며, 이는 벤치마킹에 매우 중요하다.
• 텍스트 형식과 바이너리(rosgen) 형식의 공개로 기존 로봇공학 및 컴퓨터 비전 프레임워크와의 호환성이 향상되었다.
• 오픈소스 시뮬레이터를 통해 연구자들은 제어된 환경에서 알고리즘 개발 및 테스트를 위한 합성 이벤트 카메라 데이터를 생성할 수 있다.
• 다양한 환경을 포함함으로써, 다양한 조명 조건, 운동 조건, 장면 복잡도에서 알고리즘의 강건한 평가가 가능해졌다.
• 이벤트 기반 영상과 전통적 영상 데이터의 통합은 고속 및 저지연 로봇공학 분야에서 새로운 연구 방향을 열어준다.