[论文解读] Bridging Zero-shot Object Navigation and Foundation Models through Pixel-Guided Navigation Skill

Wenzhe Cai, Siyuan Huang+5 more|arXiv (Cornell University)|Sep 19, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出像素引导导航（PixNav），一种纯RGB的导航策略，利用像素作为目标规范，连接基础模型与零样本物体导航，实现通用、低成本且可泛化的机器人导航。PixNav在局部路径规划中实现80%以上的成功率，当与基于大语言模型（LLM）的规划器结合时，可在无需深度感知或基于地图规划的情况下，有效实现仿真环境与真实世界中的长时程导航。

ABSTRACT

Zero-shot object navigation is a challenging task for home-assistance robots. This task emphasizes visual grounding, commonsense inference and locomotion abilities, where the first two are inherent in foundation models. But for the locomotion part, most works still depend on map-based planning approaches. The gap between RGB space and map space makes it difficult to directly transfer the knowledge from foundation models to navigation tasks. In this work, we propose a Pixel-guided Navigation skill (PixNav), which bridges the gap between the foundation models and the embodied navigation task. It is straightforward for recent foundation models to indicate an object by pixels, and with pixels as the goal specification, our method becomes a versatile navigation policy towards all different kinds of objects. Besides, our PixNav is a pure RGB-based policy that can reduce the cost of home-assistance robots. Experiments demonstrate the robustness of the PixNav which achieves 80+% success rate in the local path-planning task. To perform long-horizon object navigation, we design an LLM-based planner to utilize the commonsense knowledge between objects and rooms to select the best waypoint. Evaluations across both photorealistic indoor simulators and real-world environments validate the effectiveness of our proposed navigation strategy. Code and video demos are available at https://github.com/wzcai99/Pixel-Navigator.

研究动机与目标

• 为解决将基础模型与具身导航相结合的挑战，通过消除对基于地图的规划和深度感知的依赖。
• 开发一种通用的、基于RGB的导航策略，可在无需显式语义标注的情况下泛化至各类物体。
• 通过分层策略与基于LLM的规划器，实现在未见过环境中的长时程导航。
• 通过利用像素级监督而非物体级标注，降低数据收集成本。
• 在不同相机配置和真实世界部署条件下，验证导航策略的鲁棒性。

提出的方法

• 提出一种像素引导的导航策略（PixNav），将任意物体像素视为目标，实现对未见物体的零样本泛化。
• 使用现成的3D坐标估计方法，将像素目标转换为3D航点，通过点目标导航方式收集数据集。
• 设计基于Transformer的策略网络，包含追踪预测、时间距离预测和目标融合模块，以提升长时程导航的稳定性。
• 将大语言模型（LLM）与分步提示模板结合，利用常识知识在房间之间执行分层规划。
• 在大规模、像素标注的轨迹数据集上端到端训练PixNav策略，这些轨迹来自不同物体区域，且不包含显式物体标签。
• 仅使用标准RGB摄像头的RGB观测实现从仿真到真实世界的迁移，避免对深度或定位信息的依赖。

实验结果

研究问题

• RQ1 纯RGB导航策略是否能在多样化物体和相机配置下实现高泛化性与鲁棒性？
• RQ2 像素级目标规范是否能有效连接基础模型与具身导航，而无需基于地图的规划？
• RQ3 基于LLM的规划器结合结构化提示，是否能实现在未见环境中的有效长时程导航？
• RQ4 在相机高度和视场角发生分布偏移时，PixNav策略的表现如何？
• RQ5 在长距离导航（3–5米）中，哪些组件对维持性能最为关键？
• RQ6 LLM在房间定位与环境制图方面具备多大程度的空间推理能力？

主要发现

• PixNav在HM3D模拟器中1–3米导航任务上实现88%的成功率（SR）和88%的SPL，展现出强大的局部路径规划性能。
• 该策略在相机配置变化下具有泛化能力，在相机高度变化50%、水平视场角（HFOV）变化25%的情况下仍保持超过70%的成功率。
• 消融实验表明，追踪预测与目标融合对长时程导航（3–5米）至关重要，将成功率从0.34提升至0.42。
• LLM规划器在房间定位任务中达到68.4%的准确率，在房间聚类任务中达到47.1%，表明其具备可测量的空间推理能力。
• 系统成功在仅使用RGB输入的iRobot Create3机器人上实现实验室环境部署，验证了从仿真到真实世界的泛化能力。
• 该方法通过消除对语义标注的需求，显著降低数据收集成本，实现通过像素级监督大规模生成轨迹。