[论文解读] Learning Insertion Primitives with Discrete-Continuous Hybrid Action Space for Robotic Assembly Tasks

Xiang Zhang, Shiyu Jin+3 more|arXiv (Cornell University)|Oct 25, 2021

Robot Manipulation and Learning被引用 4

一句话总结

本文提出一种用于通过强化学习学习机器人插入操作的混合离散-连续动作空间，其中操作类型（平移、旋转、插入）与连续参数（速度、接触力阈值）联合优化。该方法——双平滑多轮DQN（TS-MP-DQN）——减少了Q值过估计，实现在模拟到现实世界迁移中超过93.3%的成功率，且在未见过的紧密公差和复杂形状装配任务中表现出优越的泛化性能。

ABSTRACT

This paper introduces a discrete-continuous action space to learn insertion primitives for robotic assembly tasks. Primitive is a sequence of elementary actions with certain exit conditions, such as "pushing down the peg until contact". Since the primitive is an abstraction of robot control commands and encodes human prior knowledge, it reduces the exploration difficulty and yields better learning efficiency. In this paper, we learn robot assembly skills via primitives. Specifically, we formulate insertion primitives as parameterized actions: hybrid actions consisting of discrete primitive types and continuous primitive parameters. Compared with the previous work using a set of discretized parameters for each primitive, the agent in our method can freely choose primitive parameters from a continuous space, which is more flexible and efficient. To learn these insertion primitives, we propose Twin-Smoothed Multi-pass Deep Q-Network (TS-MP-DQN), an advanced version of MP-DQN with twin Q-network to reduce the Q-value over-estimation. Extensive experiments are conducted in the simulation and real world for validation. From experiment results, our approach achieves higher success rates than three baselines: MP-DQN with parameterized actions, primitives with discrete parameters, and continuous velocity control. Furthermore, learned primitives are robust to sim-to-real transfer and can generalize to challenging assembly tasks such as tight round peg-hole and complex shaped electric connectors with promising success rates. Experiment videos are available at https://msc.berkeley.edu/research/insertion-primitives.html.

研究动机与目标

• 解决传统低层次控制动作空间在机器人装配任务中探索难度高、样本效率低的挑战。
• 通过参数化插入操作的先验知识编码，提升模拟到现实世界迁移中的泛化能力和鲁棒性。
• 克服以往基于操作方法中离散参数选择的局限性，通过连续参数学习实现更高的灵活性和性能。
• 开发一种稳定且高效的深度强化学习算法，用于参数化动作，减少Q值过估计。

提出的方法

• 将插入操作定义为混合动作，结合离散操作类型（平移、旋转、插入）与连续参数（速度矢量、接触力阈值）。
• 为操作参数设计连续参数空间，实现无限可能的配置，而非固定离散选择。
• 提出TS-MP-DQN，即MP-DQN的增强版本，采用双Q网络以减少Q值过估计，并引入策略平滑正则化以提升训练稳定性。
• 在真实世界实验中使用阻抗控制，提供机械柔顺性，提升模拟到现实世界迁移的鲁棒性。
• 在模拟环境中使用基于插入进度的密集奖励塑造进行策略训练，以接触力作为终止条件。
• 通过直接将模拟中训练的策略部署到真实机器人上，无需微调，实现零样本模拟到现实世界迁移。

实验结果

研究问题

• RQ1 与低层次控制或离散参数操作相比，混合离散-连续动作空间是否能提升机器人插入任务的学习效率和成功率？
• RQ2 在插入操作中采用连续参数学习，对未见过的锥形孔几何形状和紧密公差的泛化能力有何影响？
• RQ3 与标准MP-DQN相比，所提出的TS-MP-DQN算法在多大程度上减少了Q值过估计并提升了策略稳定性？
• RQ4 在复杂或高公差任务中，是否能成功将模拟中训练的策略直接迁移到真实机器人上，而无需微调？

主要发现

• 所提方法在三个锥形孔任务中实现了超过93.3%的模拟到现实世界迁移成功率，优于所有基线方法，包括采用参数化动作的MP-DQN和连续速度控制。
• 该方法成功泛化至未见过的挑战性任务，如0.05毫米公差的紧密圆形锥形孔和复杂电连接器，无需重新训练即获得有希望的成功率。
• TS-MP-DQN在三角形和五边形锥形孔任务中均优于标准MP-DQN，证明了其在学习稳定性和性能上的提升。
• 连续操作参数的使用显著提高了成功率和效率，远超离散参数基线方法，后者对超参数选择敏感且覆盖范围有限。
• 离散参数基线在真实世界中的表现低于先前工作所报告的结果，可能由于姿态不确定性增加，凸显了连续参数化的优势。
• 在模拟中学习的策略可直接迁移到真实机器人上，仅需极少领域随机化，表明其具备强大的鲁棒性和泛化能力。