[论文解读] Last-Mile Embodied Visual Navigation

Justin Wasserman, Karmesh Yadav+3 more|arXiv (Cornell University)|Nov 21, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出SLING，一种可切换的末梢视觉导航系统，通过神经描述符利用几何结构以提升图像目标导航性能。通过与现有探索策略无缝集成，SLING在AI Habitat基准测试中将成功率从45%提升至55%，并在三个物理环境中的真实机器人实验中展现出强大的泛化能力。

ABSTRACT

Realistic long-horizon tasks like image-goal navigation involve exploratory and exploitative phases. Assigned with an image of the goal, an embodied agent must explore to discover the goal, i.e., search efficiently using learned priors. Once the goal is discovered, the agent must accurately calibrate the last-mile of navigation to the goal. As with any robust system, switches between exploratory goal discovery and exploitative last-mile navigation enable better recovery from errors. Following these intuitive guide rails, we propose SLING to improve the performance of existing image-goal navigation systems. Entirely complementing prior methods, we focus on last-mile navigation and leverage the underlying geometric structure of the problem with neural descriptors. With simple but effective switches, we can easily connect SLING with heuristic, reinforcement learning, and neural modular policies. On a standardized image-goal navigation benchmark (Hahn et al. 2021), we improve performance across policies, scenes, and episode complexity, raising the state-of-the-art from 45% to 55% success rate. Beyond photorealistic simulation, we conduct real-robot experiments in three physical scenes and find these improvements to transfer well to real environments.

研究动机与目标

• 解决目标发现后因末梢导航不准确而导致的图像目标导航性能瓶颈问题。
• 通过用基于关键点对应关系的几何推理替代非结构化的局部策略，提升鲁棒性和样本效率。
• 通过解耦探索与几何优化，实现在多样化导航策略、环境及真实世界场景中的泛化能力。
• 证明在数据和样本效率受限条件下，几何先验在导航末段显著优于端到端学习策略。

提出的方法

• SLING引入一种可切换机制，一旦在探索过程中视觉检测到目标图像，即激活几何导航。
• 采用PnP（透视变换-点）公式，利用代理当前观测与目标图像之间的2D-3D对应关系，估计代理相对于目标的相对位姿。
• 使用神经描述符提取并匹配代理视角与目标图像之间的关键点特征，实现鲁棒的对应关系估计。
• 系统根据目标的视觉检测结果，动态在学习到的探索策略与几何末梢策略之间切换。
• 通过距离和对应关系阈值判断代理是否足够接近目标，以触发切换至几何控制。
• 该方法模块化且兼容启发式、强化学习及神经模块化策略，支持广泛集成。

实验结果

研究问题

• RQ1 与端到端学习策略相比，几何推理是否能显著提升图像目标任务中的末梢导航性能？
• RQ2 几何末梢系统的集成是否能在多样化导航策略与环境中带来一致的性能提升？
• RQ3 与纯学习策略相比，SLING在真实机器人部署中在泛化能力和鲁棒性方面提升了多少？
• RQ4 全景图与非全景图观测的使用如何影响SLING的性能及其与不同策略的集成效果？

主要发现

• SLING将AI Habitat图像目标导航基准（Gibson-curved split）的最先进成功率从45%提升至54.8%，相对于同期预印本实现了9.2%的相对提升。
• 在仅允许一步‘停止’动作的预算下，基线策略的成功率从28%提升至51%，表明末梢错误是主要的失败模式。
• 在三个真实物理场景的真实机器人实验中，SLING显著优于基于真实世界数据训练的神经模块化策略。
• 当与OVRL-GD结合使用全景图像时，SLING在Gibson-curved全景数据集上实现了新的最先进性能：成功率78.6%，SPL 60.4%。
• 该方法在不同策略类型（包括启发式、强化学习和模块化神经策略）间具有良好泛化能力，在不同难度等级的episode中均表现出一致的性能提升。
• SLING对传感器噪声和部分遮挡具有鲁棒性，即使在存在噪声深度图和位姿估计等现实条件时，性能仍能保持稳定。