[论文解读] Motion Planner Augmented Reinforcement Learning for Robot Manipulation in Obstructed Environments

Jun Yamada, Youngwoon Lee+6 more|arXiv (Cornell University)|Oct 22, 2020

Reinforcement Learning in Robotics参考文献 36被引用 15

一句话总结

该论文提出运动规划增强强化学习（MoPA-RL），一种通过根据动作大小动态整合基于采样的运动规划到动作空间中的框架，以增强无模型强化学习（RL）智能体。通过在大位移时平滑地在直接动作执行与运动规划之间切换，MoPA-RL 实现了在障碍物环境中更快、更安全的探索，并显著提升了样本效率，相较于标准RL在复杂带障碍物的操作任务中表现更优。

ABSTRACT

Deep reinforcement learning (RL) agents are able to learn contact-rich manipulation tasks by maximizing a reward signal, but require large amounts of experience, especially in environments with many obstacles that complicate exploration. In contrast, motion planners use explicit models of the agent and environment to plan collision-free paths to faraway goals, but suffer from inaccurate models in tasks that require contacts with the environment. To combine the benefits of both approaches, we propose motion planner augmented RL (MoPA-RL) which augments the action space of an RL agent with the long-horizon planning capabilities of motion planners. Based on the magnitude of the action, our approach smoothly transitions between directly executing the action and invoking a motion planner. We evaluate our approach on various simulated manipulation tasks and compare it to alternative action spaces in terms of learning efficiency and safety. The experiments demonstrate that MoPA-RL increases learning efficiency, leads to a faster exploration, and results in safer policies that avoid collisions with the environment. Videos and code are available at https://clvrai.com/mopa-rl .

研究动机与目标

• 解决在机器人操作的深度强化学习中，因环境存在障碍物而导致探索效率低下和碰撞风险的问题。
• 在不修改强化学习智能体的架构或训练算法的前提下，结合无模型RL（适用于接触丰富任务）与运动规划（适用于长时程、无碰撞导航）的优势。
• 使RL智能体能够基于动作尺度自主决定何时使用运动规划，从而提升学习效率与安全性。
• 在涉及障碍物、狭窄通道和接触丰富交互的挑战性2D与3D操作任务上评估该方法。

提出的方法

• 该方法通过引入基于阈值的机制，扩展无模型RL智能体的动作空间：当动作幅度超过阈值Δq_step时，触发运动规划器；而较小的动作则直接执行。
• 运动规划器基于RRT或PRM等采样技术，为大关节空间位移计算无碰撞轨迹，实现安全的长距离导航。
• 通过奖励最大化进行端到端训练，使RL策略学习何时使用运动规划器，何时直接执行原始动作。
• 提出一种新颖的动作空间重标定技术，以平衡直接动作与运动规划动作之间的探索，提升训练稳定性和性能。
• 该框架兼容任意无模型RL算法（如SAC），无需架构修改或任务特定的奖励设计。
• 通过利用运动规划器生成安全路径的能力，实现自然的碰撞规避，即使在狭窄或杂乱环境中亦可实现。

实验结果

研究问题

• RQ1 将运动规划集成到深度强化学习智能体的动作空间中，是否能提升在障碍物环境中的样本效率？
• RQ2 与标准强化学习相比，结合直接执行与运动规划的混合动作空间在探索效率与策略安全性方面有何影响？
• RQ3 在学习速度与任务成功率方面，切换至直接动作执行与运动规划的最优阈值是什么？
• RQ4 动作空间重标定如何影响通过原始动作探索与使用运动规划进行长时程导航之间的平衡？
• RQ5 MoPA-RL能否在标准RL因频繁碰撞而失败的杂乱环境中学习接触丰富的操作任务（如推、插入）？

主要发现

• MoPA-RL 显著提升了学习效率，MoPA-SAC 智能体在10万次训练步内实现任务成功，而传统SAC智能体因探索能力差而失败。
• MoPA-SAC 智能体通过使用运动规划抵达远距离目标状态，探索了更广泛的状态空间，而传统RL智能体则局限于起始位置附近。
• 接触力分析表明，MoPA-RL 智能体维持了较低的平均接触力，表明其执行过程安全且无意碰撞极少；而传统RL智能体因反复碰撞导致接触力较高。
• 消融实验确认，直接动作执行对接触丰富操作至关重要：若移除该机制，任务在需要精细操作控制时性能显著下降。
• 动作空间重标定通过鼓励探索的平衡性，提升了学习性能，且该方法对不同动作范围阈值Δq_MP具有鲁棒性，在中等范围内表现最优。
• MoPA-SAC（本文方法）优于其他变体如MoPA-SAC（IK）和MoPA-SAC（离散），后两者分别因规划易碰撞或运动规划使用频率过低而表现不佳。