[论文解读] Learning to Navigate in Indoor Environments: from Memorizing to Reasoning

Liulong Ma, Yanjie Liu+2 more|arXiv (Cornell University)|Apr 15, 2019

Reinforcement Learning in Robotics参考文献 22被引用 15

一句话总结

本文提出了一种基于深度强化学习的导航规划器，仅使用RGB图像和里程计信息，使移动机器人能够到达未见过的室内目标，通过堆叠LSTM架构实现对记忆路径的泛化。该模型在仿真和真实世界环境中均实现了对新目标的零样本泛化，展示了对视觉观测的推理能力，而非依赖记忆。

ABSTRACT

Autonomous navigation is an essential capability of smart mobility for mobile robots. Traditional methods must have the environment map to plan a collision-free path in workspace. Deep reinforcement learning (DRL) is a promising technique to realize the autonomous navigation task without a map, with which deep neural network can fit the mapping from observation to reasonable action through explorations. It should not only memorize the trained target, but more importantly, the planner can reason out the unseen goal. We proposed a new motion planner based on deep reinforcement learning that can arrive at new targets that have not been trained before in the indoor environment with RGB image and odometry only. The model has a structure of stacked Long Short-Term memory (LSTM). Finally, experiments were implemented in both simulated and real environments. The source code is available: https://github.com/marooncn/navbot.

研究动机与目标

• 开发一种无需地图的导航系统，使其能够在室内环境中泛化至未见过的目标。
• 使机器人能够基于视觉观测进行推理，而非记忆特定路径。
• 设计一种仅依赖RGB图像和里程计运行的运动规划器，避免对预构建地图的依赖。
• 在仿真和真实世界室内环境中验证模型的泛化能力。

提出的方法

• 规划器采用深度强化学习框架，将观测映射为动作，无需预先存在的环境地图。
• 堆叠的长短期记忆（LSTM）网络处理序列化的视觉和里程计输入，以建模时间依赖性。
• 通过强化学习训练智能体，以最大化稀疏密集奖励，实现到达目标位置。
• 该架构通过保持对过去观测和动作的记忆，实现对视觉上下文的推理。
• 训练在仿真环境中进行，随后在真实世界测试中进行迁移，仅使用极少的领域随机化。
• 评估模型在到达未在训练期间见过的新颖、未训练目标位置方面的能力。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能够在不预先记忆的情况下，导航至未训练过的室内新目标？
• RQ2 智能体在仅使用RGB图像和里程计信息的情况下，从已见目标位置泛化到未见目标位置的程度如何？
• RQ3 堆叠LSTM架构在实现视觉序列推理以支持导航方面有多高效？
• RQ4 所提出的方法是否在无需显式地图监督的情况下，实现在真实世界室内环境中的稳健性能？

主要发现

• 该模型在仿真和真实世界环境中均成功导航至此前未见过的目标，展示了零样本泛化能力。
• 堆叠LSTM架构使智能体能够对序列化视觉观测进行推理，从而实现超越记忆的泛化能力。
• 该系统在到达新颖目标方面取得了高成功率，即使目标位置与训练样本显著不同亦如此。
• 该模型在从仿真到真实世界部署的迁移中表现出有效的泛化能力，仅需极少的领域适应。