[论文解读] Learning Active Camera for Multi-Object Navigation

Peihao Chen, Dongyu Ji+6 more|arXiv (Cornell University)|Oct 14, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出了一种面向探索的（EXPloration-Oriented, EXPO）相机策略，使具身智能体能够在多目标导航过程中主动移动相机，从而提升环境感知能力和导航效率。通过结合启发式规则、自上而下的占用地图以及强化学习，该方法协调相机与导航动作，在MatterPort3D和Gibson数据集上的四个基线方法中均实现了稳定的性能提升。

ABSTRACT

Getting robots to navigate to multiple objects autonomously is essential yet difficult in robot applications. One of the key challenges is how to explore environments efficiently with camera sensors only. Existing navigation methods mainly focus on fixed cameras and few attempts have been made to navigate with active cameras. As a result, the agent may take a very long time to perceive the environment due to limited camera scope. In contrast, humans typically gain a larger field of view by looking around for a better perception of the environment. How to make robots perceive the environment as efficiently as humans is a fundamental problem in robotics. In this paper, we consider navigating to multiple objects more efficiently with active cameras. Specifically, we cast moving camera to a Markov Decision Process and reformulate the active camera problem as a reinforcement learning problem. However, we have to address two new challenges: 1) how to learn a good camera policy in complex environments and 2) how to coordinate it with the navigation policy. To address these, we carefully design a reward function to encourage the agent to explore more areas by moving camera actively. Moreover, we exploit human experience to infer a rule-based camera action to guide the learning process. Last, to better coordinate two kinds of policies, the camera policy takes navigation actions into account when making camera moving decisions. Experimental results show our camera policy consistently improves the performance of multi-object navigation over four baselines on two datasets.

研究动机与目标

• 解决固定相机智能体在多目标导航过程中感知复杂三维环境时效率低下的问题。
• 开发一种相机策略，通过与导航决策协同，主动探索环境，而非将相机固定朝前。
• 通过引入启发式规则和自上而下的地图表示，降低在复杂RGB-D观测下的学习难度。
• 通过端到端训练，实现与现有导航方法的无缝集成。

提出的方法

• 将原始RGB-D观测转换为自上而下的占用地图，以表示已探索区域、自由区域和障碍物区域。
• 设计一个启发式模块，基于未探索区域推断预期相机朝向，作为基于规则的专家，引导学习过程。
• 使用强化学习训练神经网络策略，输入包括占用地图、启发式方向和即将执行的导航动作，输出为最优相机运动。
• 将主动相机问题建模为马尔可夫决策过程，设计奖励函数以鼓励探索新区域。
• 通过将相机决策基于计划的导航动作，实现相机策略与导航策略的协同。
• 将EXPO相机策略与现有导航架构（如MultiON、OccAnt）集成，实现多目标导航任务的端到端训练。

实验结果

研究问题

• RQ1 与固定相机基线相比，主动相机移动是否能显著提升多目标导航性能？
• RQ2 在稀疏视觉观测的复杂三维环境中，如何有效学习相机策略？
• RQ3 启发式规则和地图表示在主动视觉中在多大程度上降低了样本复杂度并提升了策略学习效率？
• RQ4 EXPO相机策略在不同导航架构和基准环境中的泛化能力如何？
• RQ5 相机策略是否提升了探索效率，从而加快发现所有目标物体的速度？

主要发现

• 在MatterPort3D数据集的OccAnt基线上，EXPO相机策略将SPL从13.6提升至18.1，PPL从20.5提升至25.4。
• 在相同基线上，成功率从18.39%提升至24.0%，Progress从28.4%提升至34.2%，表明对地图噪声具有鲁棒性。
• 在引入额外信息（地图、启发式规则、奖励）的增强基线上，SPL=35.1，PPL=45.9，Success=48.0，Progress=63.2，但仍逊于完整EXPO智能体的表现。
• 在新环境探索中，EXPO智能体在相同时间预算内发现了更多目标物体，并探索了更大的区域，优于固定相机或随机相机基线。
• 可视化结果表明，智能体通过主动相机转动检测到未观测到的目标（如Goal-2和Goal-3），从而实现高效的路径规划。
• 失败案例在补充材料中进行了分析，表明该方法在面对挑战性的地图噪声和部分可观测性时仍保持有效性。