[论文解读] Hybrid, Frame and Event based Visual Inertial Odometry for Robust, Autonomous Navigation of Quadrotors

Antoni Rosinol Vidal, Henri Rebecq+2 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Memory and Neural Computing参考文献 25被引用 5

一句话总结

本文提出了一种紧密耦合的混合视觉-惯性里程计系统，融合事件相机的事件、标准灰度帧和惯性测量数据，以实现四旋翼飞行器在复杂环境下的鲁棒、高精度状态估计。该方法相比仅使用事件的系统提升了130%的精度，相比仅使用帧的系统提升了85%的精度，首次实现了仅依赖事件相机在低光照和高动态范围环境下的自主四旋翼飞行。

ABSTRACT

Event cameras are bio-inspired vision sensors that output pixel-level brightness changes instead of standard intensity frames. These cameras do not suffer from motion blur and have a very high dynamic range, which enables them to provide reliable visual information during high speed motions or in scenes characterized by high dynamic range. However, event cameras output only little information when the amount of motion is limited, such as in the case of almost still motion. Conversely, standard cameras provide instant and rich information about the environment most of the time (in low-speed and good lighting scenarios), but they fail severely in case of fast motions, or difficult lighting such as high dynamic range or low light scenes. In this paper, we present the first state estimation pipeline that leverages the complementary advantages of these two sensors by fusing in a tightly-coupled manner events, standard frames, and inertial measurements. We show on the publicly available Event Camera Dataset that our hybrid pipeline leads to an accuracy improvement of 130% over event-only pipelines, and 85% over standard-frames-only visual-inertial systems, while still being computationally tractable. Furthermore, we use our pipeline to demonstrate - to the best of our knowledge - the first autonomous quadrotor flight using an event camera for state estimation, unlocking flight scenarios that were not reachable with traditional visual-inertial odometry, such as low-light environments and high-dynamic range scenes.

研究动机与目标

• 解决事件相机在低运动场景下的局限性，以及标准相机在高速或极端光照条件下的不足。
• 通过结合事件和帧视觉的互补优势，克服两者之间的权衡。
• 开发一种紧密耦合的融合流程，整合事件、标准帧和惯性测量数据，以提升状态估计性能。
• 首次展示仅依赖事件相机状态估计的自主四旋翼飞行，实现在以往标准视觉-惯性系统无法胜任的挑战性环境中的飞行。

提出的方法

• 设计一种紧密耦合的状态估计流程，联合优化事件、标准灰度帧和惯性测量数据。
• 利用基于事件的运动积分方法，以最小的运动模糊和高动态范围捕捉高速运动动态。
• 在低速、光照充足的条件下，引入标准帧以提供丰富的即时环境信息。
• 将惯性测量数据与视觉数据融合，提升在复杂运动和光照条件下的鲁棒性和精度。
• 实现一种联合优化框架，联合估计位姿、速度和偏差状态，利用三种传感器模态的数据。
• 利用事件和帧在时间与空间特性上的互补性，增强整个系统的鲁棒性。

实验结果

研究问题

• RQ1 与单一模态系统相比，事件、标准帧和惯性测量数据的紧密耦合是否能显著提升状态估计精度？
• RQ2 在传统视觉-惯性里程计失效的极端条件（如低光照或高动态范围场景）下，该混合系统表现如何？
• RQ3 在传统视觉-惯性系统无法进入的场景中，事件相机是否足以实现四旋翼的自主飞行？
• RQ4 事件与帧数据的融合是否能减少漂移，并在高速机动中提升系统鲁棒性？

主要发现

• 与仅使用事件的视觉-惯性里程计相比，该混合流程在Event Camera Dataset上的状态估计精度提升了130%。
• 在相同条件下，该系统相比仅使用标准帧的视觉-惯性系统精度高出85%。
• 尽管融合了三种高带宽传感器模态，该方法仍保持计算可行性。
• 所提出的系统首次实现了仅依赖事件相机进行状态估计的自主四旋翼飞行。
• 该系统成功在低光照和高动态范围环境中导航，而传统视觉-惯性里程计在此类环境中会失效。
• 事件、帧和惯性数据的紧密耦合显著提升了在多样化运动和光照条件下的系统鲁棒性与精度。