[논문 리뷰] EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms

Levi Burner, Anton Mitrokhin외 2명|arXiv (Cornell University)|2022. 05. 06.

Age of Information Optimization인용 수 11

한 줄 요약

EVIMO2는 3대의 640×480 이벤트 카메라, 1대의 2080×1552 클래식 컬러 카메라, 2대의 IMU 및 Vicon 운동 추적 장치에서 41분간 동기화된 데이터를 포함하는 고정밀 이벤트 카메라 데이터셋으로, 60 Hz(이벤트 카메라 기준) 및 30 Hz(클래식 카메라 기준)에서 픽셀 단위의 참값 깊이, 세그멘테이션 및 물체 자세를 제공한다. 이는 운동 세그멘테이션, 옵티컬 플로우, 스테레오 시각 기반 자율주행, 시각-자기관성 오도메트리(VIO) 알고리즘의 고도화 평가 및 훈련을 가능하게 하며, 고속으로 움직이는 물체를 200 Hz로 추적한 Vicon 데이터 덕분에 뛰어난 옵티컬 플로우 정확도를 확보한다.

ABSTRACT

A new event camera dataset, EVIMO2, is introduced that improves on the popular EVIMO dataset by providing more data, from better cameras, in more complex scenarios. As with its predecessor, EVIMO2 provides labels in the form of per-pixel ground truth depth and segmentation as well as camera and object poses. All sequences use data from physical cameras and many sequences feature multiple independently moving objects. Typically, such labeled data is unavailable in physical event camera datasets. Thus, EVIMO2 will serve as a challenging benchmark for existing algorithms and rich training set for the development of new algorithms. In particular, EVIMO2 is suited for supporting research in motion and object segmentation, optical flow, structure from motion, and visual (inertial) odometry in both monocular or stereo configurations. EVIMO2 consists of 41 minutes of data from three 640$ imes$480 event cameras, one 2080$ imes$1552 classical color camera, inertial measurements from two six axis inertial measurement units, and millimeter accurate object poses from a Vicon motion capture system. The dataset's 173 sequences are arranged into three categories. 3.75 minutes of independently moving household objects, 22.55 minutes of static scenes, and 14.85 minutes of basic motions in shallow scenes. Some sequences were recorded in low-light conditions where conventional cameras fail. Depth and segmentation are provided at 60 Hz for the event cameras and 30 Hz for the classical camera. The masks can be regenerated using open-source code up to rates as high as 200 Hz. This technical report briefly describes EVIMO2. The full documentation is available online. Videos of individual sequences can be sampled on the download page.

연구 동기 및 목표

• 복잡한 실내 환경에서 다수의 독립적으로 움직이는 물체가 존재하는 상황에서, 물리적으로 기록된, 픽셀 단위의 참값 깊이 및 세그멘테이션 정보를 갖춘 이벤트 카메라 데이터셋의 부족을 보완하기 위해.
• 운동 세그멘테이션, 옵티컬 플로우, 시각 기반 자율주행(VIO), 시각-자기관성 오도메트리(VIO) 알고리즘의 평가 및 훈련을 위한 벤치마크를 제공하기 위해.
• 세부적인 3차원 물체 스캔과 200 Hz Vicon 자세 추적을 활용하여 고정밀 옵티컬 플로우 추정을 가능하게 하기 위해.
• 더 나은 카메라 하드웨어, 더 긴 녹화 시간, 다양한 알고리즘 평가를 위한 구조화된 시퀀스 카테고리로 EVIMO 데이터셋을 확장하기 위해.
• 운동하는 실내 환경에서 정확한 카메라 및 물체 자세 데이터를 제공함으로써, 시각-자기관성 오도메트리 및 SLAM 연구를 지원하기 위해.

제안 방법

• 고해상도 3차원 스캔을 통해 확보한 가정용 물체 및 큰 테이블의 3차원 모델을 Vicon 측정 자세를 기반으로 카메라의 시야에 투영하여 참값 깊이 및 세그멘테이션을 생성한다.
• 캘리브레이션된 Vicon 자세 데이터와 3차원 물체 모델을 사용하여, 이벤트 카메라 기준 60 Hz, 클래식 카메라 기준 30 Hz에서 픽셀 단위의 깊이 및 세그멘테이션을 계산한다.
• 200 Hz로 업데이트되는 Vicon 자세 데이터를 기반으로 10 ms 간격의 유한 차분을 적용하여 옵티컬 플로우를 근사화함으로써 고시간 해상도의 플로우 필드를 생성한다.
• 세 대의 이벤트 카메라(두 대는 Prophesee Gen3, 한 대는 Samsung DVS Gen3), 한 대의 Flea3 클래식 카메라, 두 대의 6축 IMU를 사용하여 시퀀스를 녹화하며, 모든 장치는 Vicon 운동 추적 시스템과 동기화된다.
• 데이터셋은 독립적으로 움직이는 물체(IMO), 시각 기반 자율주행(SfM), 평면 영상에서의 단순 운동(Sanity)의 세 가지 카테고리로 구성되며, 낮은 조도 조건을 고려한 변형도 포함된다.
• 오픈소스 도구를 제공하여 최대 200 Hz에서 세그멘테이션 마스크를 재생산할 수 있도록 하여, 세그멘테이션 및 옵티컬 플로우 알고리즘의 고주기 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 물리적으로 기록된, 픽셀 단위의 참값 깊이 및 세그멘테이션 정보를 갖춘 이벤트 카메라 데이터셋이, 복잡한 실내 환경에서 움직이는 물체가 있는 상황에서 옵티컬 플로우 알고리즘의 정확도 평가를 향상시킬 수 있는가?
• RQ2 고주기 Vicon 자세 추적(200 Hz)이 고속으로 움직이는 독립적 물체가 있는 장면에서 참값 옵티컬 플로우의 품질을 어느 정도 향상시키는가?
• RQ3 세부적인 물체 기하학적 구조와 자세 정보를 갖춘 물리적으로 기록된 데이터셋을 기반으로 훈련하거나 평가할 경우, 단안 및 스테레오 기반 이벤트 기반 알고리즘이 운동 세그멘테이션, 시각 기반 자율주행, 시각-자기관성 오도메트리에서 얼마나 효과적인가?
• RQ4 낮은 조도 조건은 이벤트 카메라 데이터에 어떤 과제를 야기하는가? EVIMO2는 이러한 조건에서 강건한 알고리즘 개발을 어떻게 지원하는가?
• RQ5 3차원 물체 스캔과 정밀한 자세 추적을 조합하면, 움직이는 물체의 기능적 특징 사이에서의 차별 운동을 반영할 수 있는 세밀한 디테일을 가진 옵티컬 플로우 필드를 생성할 수 있는가?

주요 결과

• EVIMO2는 3대의 이벤트 카메라, 1대의 클래식 카메라, 2대의 IMU 및 Vicon 운동 추적 장치에서 41분간의 동기화된 데이터를 제공하며, 총 173개의 시퀀스가 세 가지 카테고리로 구성되어 있다.
• 이벤트 카메라 기준 60 Hz, 클래식 카메라 기준 30 Hz에서 픽셀 단위의 참값 깊이 및 세그멘테이션 정보를 포함하며, 최대 200 Hz에서 마스크 재생산이 가능하다.
• 10 ms 간격의 유한 차분을 통해 200 Hz Vicon 자세 데이터를 활용한 고품질 옵티컬 플로우 필드를 생성하여, 고속으로 움직이는 독립적 물체에 대해서도 정확한 플로우 추정이 가능하다.
• 독립적으로 움직이는 가정용 물체가 포함된 시퀀스는 총 3.75분, 정적 장면은 22.55분, 얕은 영상에서의 단순 운동은 14.85분이며, 낮은 조도 조건의 변형도 포함되어 있다.
• 세부적인 3차원 물체 스캔과 정밀한 Vicon 추적을 통해 세분화된 옵티컬 플로우 필드를 생성할 수 있으며, 이는 그림 3에서 보듯이 움직이는 물체의 기능적 특징 간의 차별 운동을 정확히 반영한다.
• 특히 가림, 복잡한 운동, 다양한 물체가 존재하는 동적인 실내 환경에서, 단안 및 스테레오 알고리즘의 운동 세그멘테이션, 옵티컬 플로우, 시각 기반 자율주행, 시각-자기관성 오도메트리에 대한 도전적인 벤치마크를 제공한다.