[论文解读] EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms

Levi Burner, Anton Mitrokhin+2 more|arXiv (Cornell University)|May 6, 2022

Age of Information Optimization被引用 11

一句话总结

EVIMO2 是一个高精度事件相机数据集，包含三台 640×480 事件相机、一台 2080×1552 经典彩色相机、两台 IMU 和 Vicon 运动捕捉系统同步采集的 41 分钟数据，每秒 60 Hz 提供像素级真实深度、分割和物体位姿（事件相机），30 Hz 提供经典相机的对应信息。该数据集支持单目和立体算法在运动分割、光流、运动结构（SfM）以及视觉惯性里程计（VIO）方面的高级评估与训练，得益于对快速运动物体的 200 Hz Vicon 跟踪，光流精度尤为出色。

ABSTRACT

A new event camera dataset, EVIMO2, is introduced that improves on the popular EVIMO dataset by providing more data, from better cameras, in more complex scenarios. As with its predecessor, EVIMO2 provides labels in the form of per-pixel ground truth depth and segmentation as well as camera and object poses. All sequences use data from physical cameras and many sequences feature multiple independently moving objects. Typically, such labeled data is unavailable in physical event camera datasets. Thus, EVIMO2 will serve as a challenging benchmark for existing algorithms and rich training set for the development of new algorithms. In particular, EVIMO2 is suited for supporting research in motion and object segmentation, optical flow, structure from motion, and visual (inertial) odometry in both monocular or stereo configurations. EVIMO2 consists of 41 minutes of data from three 640$ imes$480 event cameras, one 2080$ imes$1552 classical color camera, inertial measurements from two six axis inertial measurement units, and millimeter accurate object poses from a Vicon motion capture system. The dataset's 173 sequences are arranged into three categories. 3.75 minutes of independently moving household objects, 22.55 minutes of static scenes, and 14.85 minutes of basic motions in shallow scenes. Some sequences were recorded in low-light conditions where conventional cameras fail. Depth and segmentation are provided at 60 Hz for the event cameras and 30 Hz for the classical camera. The masks can be regenerated using open-source code up to rates as high as 200 Hz. This technical report briefly describes EVIMO2. The full documentation is available online. Videos of individual sequences can be sampled on the download page.

研究动机与目标

• 为解决在复杂室内场景中存在多个独立运动物体时，缺乏物理记录、带有像素级真实深度与分割标注的事件相机数据集的问题。
• 为单目和立体算法在运动分割、光流、运动结构（SfM）以及视觉惯性里程计（VIO）方面的评估与训练提供基准。
• 通过利用 200 Hz Vicon 对物体位姿的跟踪以及详细的 3D 物体扫描，实现高保真光流估计。
• 在 EVIMO 数据集基础上，通过提升相机硬件、延长录制时间，并引入结构化的序列类别，实现更广泛的算法评估。
• 通过提供动态室内环境中精确的相机与物体位姿数据，支持视觉惯性里程计与 SLAM 领域的研究。

提出的方法

• 通过 Vicon 测量的位姿，将高分辨率 3D 扫描的家用物体和大型桌面投影到相机视场中，生成真实深度与分割标注。
• 利用校准后的 Vicon 位姿数据和 3D 物体模型，在 60 Hz（事件相机）和 30 Hz（经典相机）下计算像素级深度与分割。
• 通过 200 Hz Vicon 位姿更新，在 10 ms 时间间隔内对物体位置进行有限差分，近似生成光流，实现高时间分辨率的光流场。
• 使用三台事件相机（两台 Prophesee Gen3，一台 Samsung DVS Gen3）、一台 Flea3 经典相机和两台六轴 IMU 进行序列录制，所有设备均与 Vicon 运动捕捉系统同步。
• 数据集划分为三类：独立运动物体（IMO）、运动结构（SfM）和平面场景中的简单运动（Sanity），并提供低光照条件下的变体。
• 提供开源工具，可将分割掩码再生至最高 200 Hz，支持对分割与光流算法的高频率评估。

实验结果

研究问题

• RQ1 是否可以通过物理记录的事件相机数据集，结合像素级真实深度与分割标注，实现对动态室内场景中光流算法更精确的评估？
• RQ2 高频 Vicon 位姿跟踪（200 Hz）在快速运动、独立运动物体的场景中，对提升真实光流质量的贡献有多大？
• RQ3 当在具有详细物体几何结构与位姿的物理记录数据集上进行训练或评估时，单目与立体事件相机算法在运动分割、运动结构（SfM）和视觉惯性里程计（VIO）方面的有效性如何？
• RQ4 低光照条件对事件相机数据提出了哪些挑战？EVIMO2 如何支持在这些条件下的鲁棒算法开发？
• RQ5 结合 3D 物体扫描与精确位姿跟踪，是否能够生成具有细粒度细节的光流场，例如在运动物体上不同特征点之间的差异运动？

主要发现

• EVIMO2 提供了三台事件相机、一台经典相机、两台 IMU 和 Vicon 运动捕捉系统同步采集的 41 分钟数据，共包含 173 个序列，分为三类。
• 事件相机以 60 Hz 提供像素级真实深度与分割，经典相机以 30 Hz 提供对应信息，且可通过再生实现最高 200 Hz 的掩码输出。
• 通过 10 ms 有限差分法处理 200 Hz Vicon 位姿，生成高质量光流场，即使在快速运动的独立物体场景中也能实现精确的光流估计。
• 数据集包含 3.75 分钟的独立运动物体序列、22.55 分钟的静态场景序列和 14.85 分钟的浅景深场景基本运动序列，均包含低光照变体。
• 利用家用物体的详细 3D 扫描与精确的 Vicon 跟踪，实现了细粒度光流场，能够捕捉物体特征点之间的差异运动，如图 3 所示。
• 该数据集支持在动态室内环境中，对单目与立体算法在运动分割、光流、运动结构（SfM）和视觉惯性里程计（VIO）方面的挑战性基准测试，尤其适用于存在遮挡与复杂运动的场景。