[论文解读] Deep Reinforcement Learning for Contact-Rich Skills Using Compliant Movement Primitives

Oren Spector, Miriam Zacksenhouse|arXiv (Cornell University)|Aug 30, 2020

Robot Manipulation and Learning参考文献 45被引用 15

一句话总结

该论文提出了一种基于柔顺动态运动基函数（DMPs）的深度强化学习框架，用于学习高鲁棒性、接触丰富的机器人装配技能（如插销入孔），并能有效应对不确定性。通过将任务分解为自由运动与接触阶段，采用笛卡尔空间控制，并引入力自适应柔顺耦合项，该方法在UR5e机器人上实现了样本高效、可泛化且具备良好仿真到现实迁移能力的策略。

ABSTRACT

In recent years, industrial robots have been installed in various industries to handle advanced manufacturing and high precision tasks. However, further integration of industrial robots is hampered by their limited flexibility, adaptability and decision making skills compared to human operators. Assembly tasks are especially challenging for robots since they are contact-rich and sensitive to even small uncertainties. While reinforcement learning (RL) offers a promising framework to learn contact-rich control policies from scratch, its applicability to high-dimensional continuous state-action spaces remains rather limited due to high brittleness and sample complexity. To address those issues, we propose different pruning methods that facilitate convergence and generalization. In particular, we divide the task into free and contact-rich sub-tasks, perform the control in Cartesian rather than joint space, and parameterize the control policy. Those pruning methods are naturally implemented within the framework of dynamic movement primitives (DMP). To handle contact-rich tasks, we extend the DMP framework by introducing a coupling term that acts like the human wrist and provides active compliance under contact with the environment. We demonstrate that the proposed method can learn insertion skills that are invariant to space, size, shape, and closely related scenarios, while handling large uncertainties. Finally we demonstrate that the learned policy can be easily transferred from simulations to real world and achieve similar performance on UR5e robot.

研究动机与目标

• 解决工业机器人在处理接触丰富、不确定的装配任务时因刚性与高设置成本而存在的局限性。
• 克服模型无关强化学习在高维连续控制空间中样本效率低和脆弱性高的问题。
• 在保持对定位与抓取误差鲁棒性的同时，实现对孔/销尺寸、形状和空间位置变化的泛化能力。
• 通过开发可在仿真到真实机器人硬件（UR5e）间有效迁移的策略，弥合仿真到现实的差距。
• 通过引入模仿人类手腕行为的柔顺耦合项，扩展DMP框架以实现接触过程中的主动柔顺性。

提出的方法

• 该方法将插销入孔任务划分为独立的自由运动阶段与接触丰富的插入阶段，每个阶段由独立的DMP控制。
• 控制在末端执行器的笛卡尔空间中进行，而非关节空间，以简化力-扭矩关系并提升任务层面的可解释性。
• 在DMP框架中引入一种新型耦合项，通过根据交互力自适应调整轨迹执行，实现主动柔顺性。
• 采用近端策略优化（PPO）训练策略，这是一种稳定的一致性强化学习算法，并通过奖励塑形鼓励成功插入并最小化碰撞。
• 通过直接学习柔顺参数而非将力映射为控制信号，对搜索空间进行剪枝，降低维度并提升样本效率。
• 该方法实现了端到端的插入策略学习，可在未见的销形状和孔位置上泛化，且对高达8 mm线性与12°角误差具有鲁棒性。

实验结果

研究问题

• RQ1 能否高效训练深度强化学习策略，以应对高维连续状态-动作空间中的接触丰富型机器人任务？
• RQ2 任务分解与笛卡尔空间控制在接触丰富操作中如何提升样本效率与泛化能力？
• RQ3 学习到的柔顺机制是否能在大范围定位与抓取不确定性下实现鲁棒性能？
• RQ4 在仿真中训练的策略在多大程度上能成功迁移到真实世界机器人硬件上？
• RQ5 该方法能否在销与孔的尺寸、形状和空间位置变化下实现泛化？

主要发现

• 在理想条件下（零误差）策略成功率达到99.5%，当受到高达8 mm线性与12°角误差影响时，成功率下降至77.5%。
• 当视觉定位误差低于8 mm与8°时，结合理想策略，圆柱形与方柱形销的成功率均降至92%。
• 该方法成功实现了仿真到现实的迁移，在真实UR5e机器人上对多种不同的销与孔配置均实现了高成功率。
• 策略在不同销形状上实现了泛化，包括此前未见过的截面形状（如三角形与立方体销），在大误差条件下分别取得9/10与8/10的成功率。
• 使用笛卡尔空间DMP与学习到的柔顺性显著降低了脆弱性并改善了收敛性，使得即使在高维动作空间下，也能通过PPO实现有效训练。
• 与先前方法相比，该方法在空间、尺寸、形状及相关场景的泛化能力上表现更优，尤其在无需微调即可处理大不确定性方面优势显著。