[论文解读] PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning

Santhosh Kumar Ramakrishnan, Devendra Singh Chaplot+3 more|arXiv (Cornell University)|Jan 25, 2022

Multimodal Machine Learning Applications被引用 5

一句话总结

PONI 提出了一种模块化、无需交互的 ObjectGoal 导航方法，将'该看向何处？'视为感知问题，通过在自上而下的语义地图上使用监督训练的势函数网络，预测互补的语义和几何势函数。该方法在 Gibson 和 Matterport3D 上实现了最先进性能，训练计算量相比之前最先进方法降低高达 600 倍。

ABSTRACT

State-of-the-art approaches to ObjectGoal navigation rely on reinforcement learning and typically require significant computational resources and time for learning. We propose Potential functions for ObjectGoal Navigation with Interaction-free learning (PONI), a modular approach that disentangles the skills of `where to look?' for an object and `how to navigate to (x, y)?'. Our key insight is that `where to look?' can be treated purely as a perception problem, and learned without environment interactions. To address this, we propose a network that predicts two complementary potential functions conditioned on a semantic map and uses them to decide where to look for an unseen object. We train the potential function network using supervised learning on a passive dataset of top-down semantic maps, and integrate it into a modular framework to perform ObjectGoal navigation. Experiments on Gibson and Matterport3D demonstrate that our method achieves the state-of-the-art for ObjectGoal navigation while incurring up to 1,600x less computational cost for training. Code and pre-trained models are available: https://vision.cs.utexas.edu/projects/poni/

研究动机与目标

• 解决端到端强化学习在 ObjectGoal 导航中计算成本高且样本效率低的问题。
• 通过将'该看向何处？'视为感知问题，将其与'如何导航？'解耦。
• 仅使用静态语义地图，无需环境交互，训练'该看向何处？'策略。
• 通过模块化、非交互式学习提升具身导航中的泛化能力和样本效率。
• 在显著降低训练计算成本的前提下，实现 ObjectNav 的最先进性能。

提出的方法

• 提出势函数网络，一种 U-Net 风格的编码器-解码器模型，从部分填充的自上而下语义地图中预测两个互补的势函数。
• 将势函数定义为在地图边界处取值于 [0,1] 的函数，表示访问每个位置以找到目标物体的价值。
• 使用区域势函数引导探索未探索区域，使用基于测地距离的目标势函数指导向目标物体靠近。
• 在包含 3D 标注语义地图的被动数据集上以监督方式训练势函数网络，避免使用交互式强化学习。
• 将训练好的势函数网络集成到模块化导航框架中，其中组合势函数的 argmax 决定下一个观察方向。
• 利用几何和语义线索——如房间布局、物体-房间关系以及物体间邻近性——来指导势函数预测。

Figure 1 : Potential functions for ObjectGoal Navigation with Interaction-free learning (PONI) . We introduce a method to decide ‘where to look?’ for an unseen object in indoor 3D environments. Our key insight is that this is fundamentally a perception problem that can be solved without any interact

实验结果

研究问题

• RQ1 在 ObjectGoal 导航中，'该看向何处？'的决策能否在无需环境交互的情况下有效学习？
• RQ2 通过在语义地图上使用监督学习将'该看向何处？'视为感知问题，是否能比交互式强化学习带来更高的样本效率和更低的训练成本？
• RQ3 基于探索和目标接近性的互补势函数是否能提升在未见环境中的导航性能？
• RQ4 在标准基准上，无交互学习与端到端强化学习在泛化能力和计算效率方面相比如何？
• RQ5 自上而下的地图中语义和几何线索在多大程度上提升了势函数预测在导航中的准确性？

主要发现

• PONI 在 Habitat ObjectNav 挑战排行榜上达到最先进性能，在 MP3D（test-standard）的 4 项指标中有 3 项优于先前发表的方法（SPL、SoftSPL、DTS）。
• 在 Gibson（val）上，PONI 达到 86.5% 的成功率和 51.5% 的 SPL，相比先前最先进方法 SemExp，训练成本降低 7 倍。
• 在 Matterport3D（val）上，PONI 达到 58.2% 的成功率和 27.5% 的 SPL，相比先前最先进方法 THDA，训练计算量降低 600 倍。
• 消融实验表明，目标势函数和区域势函数均至关重要，任一缺失均导致性能显著下降。
• 使用真实图像分割可显著提升性能，表明分割错误是 PONI 流程中失败的主要原因。
• 该方法在新场景中表现出强大的泛化能力，并实现了有效的仿真到真实迁移，且对交互式强化学习的依赖极低。

Figure 2 : Architecture for PONI: Our model consists of three components. The semantic mapper uses RGB-D and pose sensor readings to build an allocentric map $m_{t}$ of the world. The potential function network $\pi_{pf}$ uses the semantic map and the goal object category $o_{t}$ to predict the area