[论文解读] Learning to Move with Affordance Maps

William Qi, Ravi Teja Mullapudi+2 more|ArXiv.org|Jan 8, 2020

Robotic Path Planning Algorithms参考文献 42被引用 8

一句话总结

本文提出一种混合方法，通过自监督交互学习空间可操作性图谱，以增强传统几何规划器在移动机器人导航中的表现。通过预测可通行区域——包括动态障碍物和语义约束——可操作性图谱实现了样本高效、泛化能力强且可解释的导航，其在探索任务中相比几何基线和最先进强化学习（RL）方法提升高达70%，在危险环境下的导航性能提升达55%。

ABSTRACT

The ability to autonomously explore and navigate a physical space is a fundamental requirement for virtually any mobile autonomous agent, from household robotic vacuums to autonomous vehicles. Traditional SLAM-based approaches for exploration and navigation largely focus on leveraging scene geometry, but fail to model dynamic objects (such as other agents) or semantic constraints (such as wet floors or doorways). Learning-based RL agents are an attractive alternative because they can incorporate both semantic and geometric information, but are notoriously sample inefficient, difficult to generalize to novel settings, and are difficult to interpret. In this paper, we combine the best of both worlds with a modular approach that learns a spatial representation of a scene that is trained to be effective when coupled with traditional geometric planners. Specifically, we design an agent that learns to predict a spatial affordance map that elucidates what parts of a scene are navigable through active self-supervised experience gathering. In contrast to most simulation environments that assume a static world, we evaluate our approach in the VizDoom simulator, using large-scale randomly-generated maps containing a variety of dynamic actors and hazards. We show that learned affordance maps can be used to augment traditional approaches for both exploration and navigation, providing significant improvements in performance.

研究动机与目标

• 解决传统基于SLAM的导航方法忽略动态物体和语义约束（如湿滑地板或门口）的局限性。
• 克服端到端强化学习（RL）用于导航时固有的样本效率低下、泛化能力差以及可解释性不足的问题。
• 开发一种模块化框架，通过自监督经验学习空间可操作性图谱，可与现成的几何规划器配合使用。
• 在复杂、动态的环境中提升性能，包括危险区域和移动代理，这些场景下静态几何地图会失效。
• 证明可操作性图谱可通过主动学习高效学习，减少数据需求，同时提升危险区域边界的检测精度。

提出的方法

• 训练神经网络以预测编码可通行性的空间可操作性图谱，包括因动态代理或语义约束而需避开的区域。
• 在VizDoom模拟器中通过自监督交互收集经验，其中智能体在包含动态角色和危险区域的随机生成地图中探索。
• 将经典几何地图与学习到的可操作性图谱结合，生成用于A*或类似算法路径规划的混合代价图谱。
• 应用主动学习选择具有信息量的探索轨迹，以最大化标签熵，从而提升数据效率和边界检测精度。
• 在10万条收集样本上训练可通行性模块，生成代价图谱，即使在数据有限的情况下也能实现高效规划。
• 与几何基线和基于PPO的强化学习智能体进行性能对比，采用目标导向导航任务中的成功率和损伤指标。

实验结果

研究问题

• RQ1 与端到端强化学习相比，可操作性图谱的自监督学习是否能提升移动机器人导航的样本效率和泛化能力？
• RQ2 在几何地图失效的动态和危险环境中，可操作性图谱能在多大程度上提升性能？
• RQ3 主动学习在提升可操作性图谱学习效率和准确性方面有何作用，特别是在危险区域边界附近？
• RQ4 可操作性图谱能否有效与经典几何规划器结合，从而超越纯几何方法和纯强化学习方法？
• RQ5 在多样且未见过的环境中，可操作性图谱与强化学习相比，在可解释性和鲁棒性方面表现如何？

主要发现

• 在VizDoom模拟器中，可操作性图谱增强的导航在探索任务中相比传统几何方法性能提升60%。
• 该方法在危险环境中的导航成功率最高提升55%，即使仅使用强化学习基线所需数据的20%。
• 主动学习降低了数据需求：在主动规划轨迹中收集的40%数据上训练的模型，优于在随机采样数据上训练的模型。
• 即使将重规划频率提高10倍，几何基线仍无法超越可操作性图谱增强的方法，凸显其鲁棒性。
• 尽管基于PPO的强化学习智能体获得了目标点监督，但其性能仍低于所有基于可操作性图谱的方法，表明在样本效率和泛化能力方面具有明显优势。
• 可操作性图谱显著提升了危险和障碍物边界附近的时序稳定性和预测准确性，从而实现更紧凑、更安全的导航裕度。