[论文解读] Stereo Visual Inertial Pose Estimation Based on Feedforward-Feedback Loops

Shengyang Chen, Chih‐Yung Wen+2 more|arXiv (Cornell University)|Jul 5, 2020

Robotics and Sensor-Based Localization参考文献 40被引用 8

一句话总结

该论文提出FLVIS，一种新颖的立体视觉-惯性位姿估计算法，将融合过程建模为采用前馈与反馈回路的控制系统。通过将前端处理与后端优化解耦，并采用基于梯度的滤波、偏差校正以及基于IIR的特征点追踪，FLVIS在嵌入式平台上实现了高精度与实时性能，于低功耗CPU上达到67 FPS的处理速度，在室内无人机飞行测试中实现0.2米的ATE（绝对轨迹误差）。

ABSTRACT

In this paper, we present a novel stereo visual inertial pose estimation method. Compared to the widely used filter-based or optimization-based approaches, the pose estimation process is modeled as a control system. Designed feedback or feedforward loops are introduced to achieve the stable control of the system, which include a gradient decreased feedback loop, a roll-pitch feed forward loop and a bias estimation feedback loop. This system, named FLVIS (Feedforward-feedback Loop-based Visual Inertial System), is evaluated on the popular EuRoc MAV dataset. FLVIS achieves high accuracy and robustness with respect to other state-of-the-art visual SLAM approaches. The system has also been implemented and tested on a UAV platform. The source code of this research is public to the research community.

研究动机与目标

• 解决在计算资源受限的无人机上实现高实时性、高精度视觉-惯性位姿估计的挑战。
• 通过将融合过程重新构想为控制系统，突破传统基于滤波器或优化的视觉-惯性SLAM在计算上的瓶颈。
• 通过将前端处理与后端优化解耦，提升嵌入式系统中的处理速度与可扩展性。
• 在不依赖前端关键帧追踪的前提下，实现高精度与鲁棒性，从而加快处理速度。
• 在公开数据集与真实无人机平台上均实现高实时性能与高精度，且漂移极小。

提出的方法

• 将视觉-惯性融合过程建模为基于前馈与反馈回路的控制系统，以稳定位姿估计。
• 集成一步基于梯度的滤波器（Madgwick滤波器），实现从IMU数据中实时、鲁棒的姿态估计。
• 将IMU预测的位姿作为前馈校正，用于前端帧内bundle adjustment，提升初始猜测的质量。
• 实现偏差估计反馈回路，校正IMU偏差并将其反馈至IMU传播模型。
• 应用无限脉冲响应（IIR）滤波器，以长期保持稳定且精确的特征点深度与位置估计。
• 通过仅转发关键帧消息，将前端与后端解耦，使前端能够独立运行并实现高速处理。

实验结果

研究问题

• RQ1 基于控制系统的框架，结合前馈与反馈回路，是否能在精度与实时性能上超越传统的基于滤波器或优化的视觉-惯性融合方法？
• RQ2 通过关键帧校正将前端与后端解耦，是否能显著提升嵌入式系统中的处理速度与可扩展性？
• RQ3 基于梯度的滤波器与基于IIR的特征点追踪在多大程度上能提升位姿估计的稳定性和精度？
• RQ4 在计算资源有限的实际无人机飞行中，该系统是否能保持高精度与低漂移？
• RQ5 在大规模环境中，回环检测在纠正长期漂移方面起到多大作用？

主要发现

• 在嵌入式x5-z8350处理器上，FLVIS使用立体深度输入实现67 FPS，显著优于同平台下VINS-Fusion的41 FPS。
• 在EuRoC MH05数据集上，FLVIS在31.0米长的室内8字形无人机飞行中实现0.2米的绝对轨迹误差（ATE），证明了其高精度。
• 通过回环检测，系统在大规模场景中有效减少了漂移，当启用回环检测时，轨迹表现出近乎完美的闭环。
• 后端处理时间随滑动窗口大小线性增长，但前端处理时间保持恒定，使系统在资源受限环境下具备可预测的性能。
• 由于具备鲁棒的初始位姿估计与稳定的特征点追踪，FLVIS即使在前端不维护关键帧的情况下，也能保持高精度。
• 集成深度相机（D435i）后，FPS进一步提升至83，证实了系统对直接深度输入的适应性，可进一步提升性能。