[论文解读] Map-less Navigation: A Single DRL-based Controller for Robots with Varied Dimensions

Wei Zhang, Yunfeng Zhang+1 more|arXiv (Cornell University)|Feb 15, 2020

Reinforcement Learning in Robotics参考文献 29被引用 5

一句话总结

本文提出了一种维度可变技能迁移（DVST）方法，使单一基于深度强化学习（DRL）的元智能体能够在不重新训练的情况下控制不同尺寸和角速度限制的机器人。通过在元智能体与维度缩放后的机器人之间缩放观测值和策略，该方法实现了在未知、动态环境中的无地图导航，适用于多种机器人配置。

ABSTRACT

Deep reinforcement learning (DRL) has shown great potential in training control agents for map-less robot navigation. However, the trained agents are generally dependent on the employed robot in training or dimension-specific, which cannot be directly reused by robots with different dimensional configurations. To address this issue, a DRL-based dimension-variable robot navigation method is proposed in this paper. The proposed approach trains a meta-agent with DRL and then transfers the meta-skill to a robot with a different dimensional configuration (named dimension-scaled robot) using a method named dimension-variable skill transfer (DVST). During the training phase, the meta-agent learns to perform self-navigation with the meta-robot in a simulation environment. In the skill-transfer phase, the observations of the dimension-scaled robot are transferred to the meta-agent in a scaled manner, and the control policy generated by the meta-agent is scaled back to the dimension-scaled robot. Simulation and real-world experimental results indicate that robots with different sizes and angular velocity bounds can accomplish navigation tasks in unknown and dynamic environments without any retraining. This work greatly extends the application range of DRL-based navigation methods from the fixed dimensional configuration to varied dimensional configurations.

研究动机与目标

• 解决基于DRL的导航智能体与特定机器人尺寸绑定的问题，限制其在不同尺寸机器人间的复用。
• 实现在不同物理尺寸和运动约束的机器人之间，从元智能体到机器人零样本策略迁移。
• 开发一种可扩展的方法，在无需重新训练的情况下，保持在未知和动态环境中的导航性能。
• 将基于DRL的导航能力从固定配置机器人扩展到更广泛的机器人平台。

提出的方法

• 在模拟环境中使用具有特定尺寸和运动特性的元机器人训练元智能体，通过深度强化学习学习自导航能力。
• 实施维度可变技能迁移（DVST），通过几何缩放将维度缩放后机器人的观测值映射到元智能体。
• 使用与维度相关的变换，将元智能体的动作输出缩放回维度缩放后机器人的控制空间。
• 使用模拟环境训练元智能体完成多样化的导航任务，包括动态障碍物和未知布局。
• 通过保持观测值和动作的比例缩放，实现在不同尺寸和角速度限制的机器人之间应用同一策略。
• 通过在机器人配置分布上训练元智能体，提升对尺寸变化的鲁棒性，确保策略泛化能力。

实验结果

研究问题

• RQ1 单一基于DRL的元智能体是否能在不重新训练的情况下泛化到物理尺寸显著不同的机器人？
• RQ2 维度可变技能迁移（DVST）在实现不同尺寸和角速度限制机器人之间零样本策略迁移方面的有效性如何？
• RQ3 所迁移的策略在未知和动态环境中的导航性能能保持到何种程度？
• RQ4 何种缩放策略能确保在尺寸差异显著的机器人之间保持一致的策略性能？

主要发现

• 所提出的DVST方法可在不重新训练的情况下，实现对不同尺寸和角速度限制机器人在未知和动态环境中的成功导航。
• 仿真结果表明，元智能体的策略可泛化至尺寸差异达2.5倍、角速度限制差异达3倍的机器人。
• 真实世界实验验证了所迁移策略在具有不同尺寸的实体机器人上实现了稳定的导航性能。
• 该方法在障碍物移动不可预测的复杂动态环境中保持了高成功率。
• 该方法消除了对任务特定重新训练的需求，显著降低了新机器人配置的部署时间和计算成本。
• 在多个机器人平台上验证了策略迁移的可扩展性，证明了其对尺寸变化的鲁棒性。