[论文解读] FGPrompt: Fine-grained Goal Prompting for Image-goal Navigation

Xinyu Sun, Peihao Chen+4 more|arXiv (Cornell University)|Oct 11, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

FGPrompt 提出了一种用于图像目标导航的细粒度目标提示方法，通过使用来自目标图像的高分辨率中间特征图作为提示来调节观测编码器，从而提升性能。通过采用基于 FiLM 的中间融合或早期融合联合建模，该方法增强了对目标相关区域的关注，使在 Gibson 数据集上取得 90.4% 的成功率，模型参数量仅为当前最先进方法的 1/50。

ABSTRACT

Learning to navigate to an image-specified goal is an important but challenging task for autonomous systems. The agent is required to reason the goal location from where a picture is shot. Existing methods try to solve this problem by learning a navigation policy, which captures semantic features of the goal image and observation image independently and lastly fuses them for predicting a sequence of navigation actions. However, these methods suffer from two major limitations. 1) They may miss detailed information in the goal image, and thus fail to reason the goal location. 2) More critically, it is hard to focus on the goal-relevant regions in the observation image, because they attempt to understand observation without goal conditioning. In this paper, we aim to overcome these limitations by designing a Fine-grained Goal Prompting (FGPrompt) method for image-goal navigation. In particular, we leverage fine-grained and high-resolution feature maps in the goal image as prompts to perform conditioned embedding, which preserves detailed information in the goal image and guides the observation encoder to pay attention to goal-relevant regions. Compared with existing methods on the image-goal navigation benchmark, our method brings significant performance improvement on 3 benchmark datasets (i.e., Gibson, MP3D, and HM3D). Especially on Gibson, we surpass the state-of-the-art success rate by 8% with only 1/50 model size. Project page: https://xinyusun.github.io/fgprompt-pages

研究动机与目标

• 解决代理需根据参考图像定位目标的图像目标导航挑战。
• 克服现有方法在目标图像中丢失细粒度细节，且未能以目标上下文条件化观测编码的问题。
• 通过目标条件化的特征调制，使代理能够聚焦于观测中的目标相关区域，从而提升导航性能。
• 设计一种参数高效、可泛化的架构，适用于计算资源有限的真实机器人部署。

提出的方法

• 利用来自目标图像的高分辨率中间特征图作为细粒度提示，引导观测编码过程。
• 通过 FiLM 层实现中间融合机制，应用仿射变换以目标特征条件化观测编码器。
• 设计一种早期融合变体（FGPrompt-EF），在像素层面拼接目标图像与观测图像，实现隐式特征交互。
• 在早期融合设置中使用共享的 ResNet 编码器，从一开始就联合建模目标与观测特征。
• 使用 EigenCAM 可视化分析注意力机制的变化，确认模型即使在距离目标较远时也能聚焦于目标相关物体。
• 通过最小化参数量来优化模型效率，同时最大化性能，从而实现在资源受限机器人上的部署。

实验结果

研究问题

• RQ1 来自目标图像的细粒度高分辨率特征是否能通过引导观测中的注意力机制，提升导航准确性？
• RQ2 通过 FiLM 层实现的目标条件化特征调制，如何影响代理在复杂环境中识别相关物体的能力？
• RQ3 与中间融合相比，采用联合建模的早期融合在效率和未见环境泛化能力方面是否表现更优？
• RQ4 所提出的提示机制是否可泛化至其他具身人工智能任务（如视觉重排）？
• RQ5 减小模型尺寸对性能的影响程度如何？小型模型是否能在图像目标导航任务中实现最先进性能？

主要发现

• FGPrompt 在 Gibson 数据集上实现了 90.4% 的成功率，相比之前最先进方法提升 8%，且模型参数量仅为后者的 1/50。
• 中间融合变体（FGPrompt-MF）在相机参数不匹配的场景中泛化能力优于早期融合，表明其具有更强的归纳偏置。
• 早期融合变体（FGPrompt-EF）以更简单的架构实现具有竞争力的性能，并展现出极高的参数效率。
• 在 ai2thor-rearrangement 挑战中，FGPrompt-EF 相较基线实现 400% 的相对性能提升，证明其在视觉重排任务中的可迁移性。
• 可视化结果表明，即使代理距离目标较远，模型仍能成功聚焦于目标相关区域（如厨房吧台）。
• 该方法在已见环境（Gibson）和未见环境（MP3D、HM3D）中均保持强大性能，表明其具备出色的泛化能力。