[论文解读] CoVIO: Online Continual Learning for Visual-Inertial Odometry

Niclas Vödisch, Daniele Cattaneo+2 more|arXiv (Cornell University)|Mar 17, 2023

Robotics and Sensor-Based Localization被引用 6

一句话总结

CoVIO 提出了一种轻量级、单网络架构，用于嵌入式设备上的在线持续视觉-惯性里程计（visual-inertial odometry），采用固定大小、经多样性优化的回放缓冲区，以缓解灾难性遗忘问题。该方法支持实时、异步推理，在领域自适应方面优于先前方法（如 CL-SLAM），同时保持低内存占用和高准确性，适用于真实世界数据集。

ABSTRACT

Visual odometry is a fundamental task for many applications on mobile devices and robotic platforms. Since such applications are oftentimes not limited to predefined target domains and learning-based vision systems are known to generalize poorly to unseen environments, methods for continual adaptation during inference time are of significant interest. In this work, we introduce CoVIO for online continual learning of visual-inertial odometry. CoVIO effectively adapts to new domains while mitigating catastrophic forgetting by exploiting experience replay. In particular, we propose a novel sampling strategy to maximize image diversity in a fixed-size replay buffer that targets the limited storage capacity of embedded devices. We further provide an asynchronous version that decouples the odometry estimation from the network weight update step enabling continuous inference in real time. We extensively evaluate CoVIO on various real-world datasets demonstrating that it successfully adapts to new domains while outperforming previous methods. The code of our work is publicly available at http://continual-slam.cs.uni-freiburg.de.

研究动机与目标

• 解决在测试领域与训练数据不同的开放世界环境中部署基于学习的视觉-惯性里程计的挑战。
• 通过在嵌入式平台有限存储条件下利用经验回放，缓解在线适应过程中的灾难性遗忘问题。
• 消除对人工监督的领域边界检测的依赖，实现对新环境的持续、自动适应。
• 相比双网络架构（如 CL-SLAM），降低计算与内存开销，实现在低功耗设备上的实时部署。
• 通过一种新颖的多样性驱动回放策略，提升持续适应过程中平移与旋转估计的鲁棒性与准确性。

提出的方法

• 用单一共享网络替代 CL-SLAM 的双网络架构，同时完成位姿与深度估计，简化训练流程并减少 GPU 内存占用。
• 实现一个固定大小的回放缓冲区，仅存储最具多样性的图像，利用可学习的多样性度量最大化在存储限制下的表征覆盖范围。
• 引入基于多样性的采样策略，优先选择与现有缓冲区样本特征差异较大的图像，提升泛化能力并减少冗余。
• 通过异步更新机制将运动估计与网络权重更新解耦，实现在不引入延迟惩罚的情况下持续推理。
• 在在线适应过程中，采用无监督的 PoseNet 与 DepthNet 联合训练，结合自监督深度监督与位姿一致性损失。
• 对每帧输入数据执行多轮反向传播更新，逐步优化权重，提升收敛性，而无需完整重训练。

实验结果

研究问题

• RQ1 单一轻量级网络架构是否能在嵌入式设备上有效实现持续视觉-惯性里程计，同时缓解灾难性遗忘？
• RQ2 在存储受限条件下，固定大小且经多样性优化的回放缓冲区与无限或随机回放缓冲区相比，在泛化能力与准确性方面表现如何？
• RQ3 异步在线学习在多大程度上能实现实时推理，且不损害持续适应场景下的准确性？
• RQ4 该方法对超参数（如回放缓冲区大小、批量大小、更新轮次）的敏感程度如何？
• RQ5 所提方法是否能在多种真实世界环境中，同时优于现有持续学习基线方法（如 CL-SLAM）在平移与旋转估计精度方面的表现？

主要发现

• 在缓冲区大小为 100 的条件下，CoVIO 在序列 04 上实现 2.11 m 的平移误差，在序列 06 上实现 2.13 m，分别优于 CL-SLAM 的 2.79 m 和 1.98 m。
• 在缓冲区大小为 100 且采用基于多样性的采样策略时，CoVIO 相较于非多样性回放策略，将序列 04 的平移误差降低 23.6%，序列 06 降低 19.7%。
• CoVIO 的异步版本实现了真正的实时推理，通过将运动估计与模型更新解耦，避免了同步方法中常见的延迟峰值。
• CoVIO 对更新轮次数量的敏感度低于 CL-SLAM，在仅使用一轮更新时即可达到接近最优性能，表明其具有更高的收敛效率。
• 在批量大小为 3 且执行 5 轮更新的情况下，CoVIO 在所有评估配置中实现了最低的平移与旋转误差，最小误差以粗体标出（见表 6）。
• 该方法在多个领域中均保持优异性能，表明其具备有效的知识保留与领域自适应能力，且无需显式领域分类或人工干预。