[论文解读] An A* Curriculum Approach to Reinforcement Learning for RGBD Indoor Robot Navigation

Kaushik Balakrishnan, Punarjay Chakravarty+1 more|arXiv (Cornell University)|Jan 5, 2021

Reinforcement Learning in Robotics参考文献 23被引用 6

一句话总结

该论文提出了一种基于课程学习的强化学习方法，用于基于RGBD的室内机器人导航，通过解耦感知与控制：预训练的孪生VAE将RGB和深度输入压缩为潜在嵌入，而A*路径规划通过生成中间航点或逐步将目标移远来逐步增加导航难度。该方法加速了训练过程并提升了最终性能，在成功率和SPL得分方面优于端到端DRL基线方法。

ABSTRACT

Training robots to navigate diverse environments is a challenging problem as it involves the confluence of several different perception tasks such as mapping and localization, followed by optimal path-planning and control. Recently released photo-realistic simulators such as Habitat allow for the training of networks that output control actions directly from perception: agents use Deep Reinforcement Learning (DRL) to regress directly from the camera image to a control output in an end-to-end fashion. This is data-inefficient and can take several days to train on a GPU. Our paper tries to overcome this problem by separating the training of the perception and control neural nets and increasing the path complexity gradually using a curriculum approach. Specifically, a pre-trained twin Variational AutoEncoder (VAE) is used to compress RGBD (RGB & depth) sensing from an environment into a latent embedding, which is then used to train a DRL-based control policy. A*, a traditional path-planner is used as a guide for the policy and the distance between start and target locations is incrementally increased along the A* route, as training progresses. We demonstrate the efficacy of the proposed approach, both in terms of increased performance and decreased training times for the PointNav task in the Habitat simulation environment. This strategy of improving the training of direct-perception based DRL navigation policies is expected to hasten the deployment of robots of particular interest to industry such as co-bots on the factory floor and last-mile delivery robots.

研究动机与目标

• 解决端到端深度强化学习（DRL）在基于RGBD的机器人导航中数据效率低下和训练时间过长的问题。
• 通过将感知（表征学习）与控制（导航策略）解耦，提升训练效率与最终策略性能。
• 通过A*生成航点或逐渐移动目标以逐步增加路径复杂度，实现课程学习，从而加速DRL训练。
• 实现感知与策略表征在新环境（如Gibson数据集）中的迁移学习。
• 提供一种可扩展的框架，使单个预训练的VAE嵌入可支持多种任务的多个导航策略。

提出的方法

• 在RGB和深度图像上预训练一个孪生变分自编码器（VAE），以学习环境的紧凑潜在表征。
• 将学习到的VAE嵌入作为DRL策略网络的输入，该网络基于嵌入状态和目标方向/朝向回归控制动作。
• 使用A*路径规划生成中间航点或逐步将目标从起点移远，构建随时间逐步增加任务难度的课程。
• 评估两种课程策略：SWP-N（离散航点，N递减）和FWP（持续移动目标）。
• 在Habitat环境中通过仿真训练DRL策略，课程推进基于路径长度的逐步增加。
• 通过在新场景（如Gibson中的Pleasant场景）上微调预训练的VAE和策略，实现迁移学习，使用相同的嵌入和策略权重作为初始化。

实验结果

研究问题

• RQ1 基于预训练VAE的感知嵌入是否能提升DRL导航策略的样本效率与最终性能？
• RQ2 使用A*生成逐步增加路径复杂度的课程，是否能加速DRL训练并提升策略泛化能力？
• RQ3 不同的课程策略——离散航点（SWP-N）与持续移动目标（FWP）——如何影响最终策略性能与路径平滑度？
• RQ4 预训练的感知与策略表征在多大程度上可迁移至新的、未见过的环境中？
• RQ5 课程训练是否能在真实部署场景中带来更鲁棒、更平滑的导航行为？

主要发现

• 所提出的课程方法显著减少了训练时间，并在最终性能上优于端到端DRL基线方法。
• SWP-10智能体在Pleasant场景上完成迁移学习后，平均成功率达到0.95，平均SPL为0.87，表现出强大的泛化能力。
• FWP智能体在靠近墙壁时表现出更多滑行行为及更急促的转向，而SWP智能体在多数测试回合中生成了更平滑、更理想的路径。
• 性能在不同回合间因起始与目标位置而异，表明课程设计对最终策略行为具有显著影响。
• 在少数情况下（如episode-h），尽管配置相似，FWP智能体仍未能抵达目标，凸显其对环境布局的敏感性。
• 该方法实现了高效的迁移学习：单个预训练的VAE嵌入可被复用于多个任务与环境，显著减少重新训练的需求。