[论文解读] An Open Source, Fiducial Based, Visual-Inertial Motion Capture System

Michael Neunert, Michael Bloesch+1 more|arXiv (Cornell University)|Jul 8, 2015

Robotics and Sensor-Based Localization参考文献 9被引用 13

一句话总结

本文提出了一种开源的基于标识物的视觉-惯性动作捕捉系统，通过融合单目相机与IMU数据，利用低成本、可打印的AprilTags实现精确、全局一致的状态估计。通过紧密耦合视觉与惯性测量并在线估计相机-IMU外参，系统在快速运动和遮挡条件下表现出鲁棒性能，在70–80米的环形轨迹中实现了亚米级的相对位置误差。

ABSTRACT

Many robotic tasks rely on the accurate localization of moving objects within a given workspace. This information about the objects' poses and velocities are used for control,motion planning, navigation, interaction with the environment or verification. Often motion capture systems are used to obtain such a state estimate. However, these systems are often costly, limited in workspace size and not suitable for outdoor usage. Therefore, we propose a lightweight and easy to use, visual-inertial Simultaneous Localization and Mapping approach that leverages cost-efficient, paper printable artificial landmarks, socalled fiducials. Results show that by fusing visual and inertial data, the system provides accurate estimates and is robust against fast motions and changing lighting conditions. Tight integration of the estimation of sensor and fiducial pose as well as extrinsics ensures accuracy, map consistency and avoids the requirement for precalibration. By providing an open source implementation and various datasets, partially with ground truth information, we enable community members to run, test, modify and extend the system either using these datasets or directly running the system on their own robotic setups.

研究动机与目标

• 解决商用动作捕捉系统成本高、工作空间有限且仅限于室内使用的问题。
• 在无需昂贵硬件或预先标定的情况下，实现精确、全局一致的机器人状态估计。
• 开发一种轻量化、低成本的商用动作捕捉系统替代方案，利用可打印的标识物和标准机器人传感器。
• 通过视觉与惯性数据的紧密集成，提升系统在快速运动、遮挡和光照变化下的鲁棒性。
• 提供开源软件与数据集，以支持社区测试、扩展及在真实机器人平台上的部署。

提出的方法

• 使用AprilTags作为人工标识物，在图像平面上提供独特且鲁棒的6-DoF位姿观测。
• 实现一种紧密耦合的扩展卡尔曼滤波器（EKF），融合来自标识物的原始角点检测结果与IMU的惯性测量数据。
• 在线同时估计机器人的位姿、速度以及相机-IMU外参，无需预先标定。
• 利用惯性数据提升速度估计质量，并在标识物被遮挡或出现运动模糊时维持跟踪能力。
• 通过重复观测标识物实现隐式回环检测，避免使用显式的回环检测算法。
• 通过在线外参估计实现一致且可重复的标定结果，已在10次独立记录中得到验证。

实验结果

研究问题

• RQ1 采用可打印标识物的紧密耦合视觉-惯性融合方法，是否能在无需预标定的情况下实现精确且全局一致的状态估计？
• RQ2 与仅依赖标识物的系统相比，惯性测量的引入在快速运动、遮挡和光照变化条件下如何提升系统的鲁棒性？
• RQ3 在标识物稀疏覆盖的长轨迹中，该系统在多大程度上能保持精度与一致性？
• RQ4 与传统标定方法相比，相机-IMU外参的在线估计在可重复性与精度方面表现如何？
• RQ5 该系统是否能有效支持需要实时、低延迟和高精度状态估计的闭环控制任务？

主要发现

• 在立方体数据集中，系统在回环闭合时的相对位置误差约为1.2%（70米轨迹中误差0.86米），在展厅数据集中为0.5%（80米轨迹中误差0.38米），以检测器估计值作为参考。
• 在回环闭合时，立方体数据集的平均重投影误差为56.07像素，展厅数据集为51.01像素，表明特征跟踪具有一致性。
• 在线外参标定在10次独立记录中实现了1.5厘米的平移RMS误差和0.0035弧度的旋转RMS误差，证明了高度的可重复性。
• 该系统成功实现了四足机器人在液压驱动跑步机上的闭环控制，仅依靠状态估计即稳定了机器人在中心位置。
• 惯性数据显著提升了速度估计的质量，在平滑性和时间分辨率方面优于商用系统。
• 系统在长轨迹上表现出长期精度与地图一致性，通过重复观测标识物实现稳健的回环闭合优化。