[论文解读] Communication constrained cloud-based long-term visual localization in real time

Xiaqing Ding, Yue Wang+3 more|arXiv (Cornell University)|Mar 10, 2019

Robotics and Sensor-Based Localization参考文献 24被引用 4

一句话总结

本文提出了一种基于云的视觉定位系统，可在通信受限条件下实现实时、无漂移的移动机器人定位。通过采用双滑动窗口架构——机器人端用于本地位姿估计，云端用于聚合虚拟子图对齐——该系统即使在高延迟、丢包和带宽受限的情况下，也能实现鲁棒的长期定位，且在季节性及具有挑战性的网络条件下得到了验证。

ABSTRACT

Visual localization is one of the primary capabilities for mobile robots. Long-term visual localization in real time is particularly challenging, in which the robot is required to efficiently localize itself using visual data where appearance may change significantly over time. In this paper, we propose a cloud-based visual localization system targeting at long-term localization in real time. On the robot, we employ two estimators to achieve accurate and real-time performance. One is a sliding-window based visual inertial odometry, which integrates constraints from consecutive observations and self-motion measurements, as well as the constraints induced by localization on the cloud. This estimator builds a local visual submap as the virtual observation which is then sent to the cloud as new localization constraints. The other one is a delayed state Extended Kalman Filter to fuse the pose of the robot localized from the cloud, the local odometry and the high-frequency inertial measurements. On the cloud, we propose a longer sliding-window based localization method to aggregate the virtual observations for larger field of view, leading to more robust alignment between virtual observations and the map. Under this architecture, the robot can achieve drift-free and real-time localization using onboard resources even in a network with limited bandwidth, high latency and existence of package loss, which enables the autonomous navigation in real-world environment. We evaluate the effectiveness of our system on a dataset with challenging seasonal and illuminative variations. We further validate the robustness of the system under challenging network conditions.

研究动机与目标

• 解决在外观变化（例如光照、季节变化）导致性能下降的情况下，长期视觉定位的实时性挑战。
• 通过将计算任务卸载到云端，克服资源受限机器人在本地处理方面的局限性。
• 确保在真实网络条件（如高延迟、丢包和带宽受限）下的鲁棒性。
• 通过融合云端提供的全局位姿估计与本地视觉-惯性里程计，实现无漂移定位。
• 设计一种通信高效的系统，最小化数据传输量，同时保持定位精度。

提出的方法

• 在机器人上部署基于滑动窗口的视觉-惯性里程计（VIO），利用连续帧和惯性测量数据估计本地位姿。
• 在机器人上使用延迟状态扩展卡尔曼滤波器（EKF）融合云端提供的全局位姿、本地VIO以及高频IMU数据。
• 在机器人上构建虚拟观测（本地视觉子图），并将压缩后的稀疏化数据传输至云端，以减少带宽使用。
• 在云端实现更长的滑动窗口定位方法，以聚合虚拟观测，实现与地图更大的视场角对齐。
• 应用信息稀疏化技术对数据进行压缩和减少传输量，确保与低带宽网络的兼容性。
• 在EKF中集成网络感知补偿机制，以应对延迟和丢包，保持估计稳定性。

实验结果

研究问题

• RQ1 如何实现实时环境下对显著外观变化（如季节性与光照变化）具有鲁棒性的长期视觉定位？
• RQ2 何种系统架构能够在通信受限条件下，实现资源受限机器人上的无漂移定位？
• RQ3 在基于云的视觉定位中，如何最小化数据传输量而不牺牲定位精度？
• RQ4 该系统在真实部署中对网络延迟和丢包的容忍程度如何？
• RQ5 云端滑动窗口长度与定位精度和鲁棒性之间的最优平衡点是什么？

主要发现

• 即使在50%丢包率和高达3秒网络延迟的条件下，系统仍能在机器人端实现无漂移、实时的定位。
• 在70%丢包率下，定位性能依然稳定且准确，展现出对数据丢失的强大鲁棒性。
• 当网络延迟高达5秒时，系统仍能提供粗略但可用的定位结果，优于典型的真实网络条件。
• 云端滑动窗口长度为40时，在鲁棒性与精度之间实现了最佳平衡，优于较短（10–20）和较长（50）的窗口。
• 双滑动窗口架构通过将多个虚拟观测聚合为更大的视场角，显著提升了对齐的鲁棒性。
• 信息稀疏化方法有效减少了数据传输量，同时保持了定位精度，满足了低带宽约束条件。