[论文解读] Bi-Manual Manipulation and Attachment via Sim-to-Real Reinforcement Learning

Satoshi Kataoka, Seyed Kamyar Seyed Ghasemipour+2 more|arXiv (Cornell University)|Mar 15, 2022

Robot Manipulation and Learning被引用 5

一句话总结

本文提出一种基于关节空间控制和原始观测的仿真到现实强化学习方法，用于双臂机器人操作，在真实 xArm6 机器人上实现了 100% 的积木抓取成功率和 65% 的磁性积木连接成功率。该方法通过消除逆运动学和滤波处理，简化了控制流程，同时通过修改仿真环境，实现了在真实世界中的稳健迁移。

ABSTRACT

Most successes in robotic manipulation have been restricted to single-arm robots, which limits the range of solvable tasks to pick-and-place, insertion, and objects rearrangement. In contrast, dual and multi arm robot platforms unlock a rich diversity of problems that can be tackled, such as laundry folding and executing cooking skills. However, developing controllers for multi-arm robots is complexified by a number of unique challenges, such as the need for coordinated bimanual behaviors, and collision avoidance amongst robots. Given these challenges, in this work we study how to solve bi-manual tasks using reinforcement learning (RL) trained in simulation, such that the resulting policies can be executed on real robotic platforms. Our RL approach results in significant simplifications due to using real-time (4Hz) joint-space control and directly passing unfiltered observations to neural networks policies. We also extensively discuss modifications to our simulated environment which lead to effective training of RL policies. In addition to designing control algorithms, a key challenge is how to design fair evaluation tasks for bi-manual robots that stress bimanual coordination, while removing orthogonal complicating factors such as high-level perception. In this work, we design a Connect Task, where the aim is for two robot arms to pick up and attach two blocks with magnetic connection points. We validate our approach with two xArm6 robots and 3D printed blocks with magnetic attachments, and find that our system has 100% success rate at picking up blocks, and 65% success rate at the Connect Task.

研究动机与目标

• 开发一种稳健的仿真到现实强化学习流程，用于双臂机器人操作，能够在真实硬件上有效迁移。
• 解决多臂系统中双臂协调、臂间碰撞避免以及执行器噪声带来的挑战。
• 设计一个最小但有效的评估任务——磁性积木连接，以隔离双臂协调问题，排除感知和高精度控制的影响。
• 通过使用关节空间动作和原始传感器观测（无需滤波或状态估计），简化实时控制。
• 证明尽管训练速度变慢，仿真器修改（如执行器噪声、观测噪声）对于将策略迁移到真实机器人至关重要。

提出的方法

• 在基于物理的仿真环境中使用自定义环境训练深度强化学习策略，该环境包含逼真的机器人模型、磁性积木和执行器动力学。
• 采用实时（4Hz）关节空间控制，直接向机器人输出关节速度，无需逆运动学或轨迹规划。
• 将未经滤波的原始观测（关节位置、速度、积木状态）直接输入深度神经网络策略，无需预处理或滤波。
• 引入仿真器修改，如执行器噪声、观测噪声和真实的关节限位，以提升仿真到现实的迁移能力。
• 使用近端策略优化（PPO）训练策略，采用奖励塑形方法，强调任务完成和协调性。
• 在两台真实 xArm6 机器人上验证策略，使用 3D 打印的磁性积木，成功标准由人工验证，包括距离和方向。

实验结果

研究问题

• RQ1 在仿真中训练的强化学习策略是否能在不显式进行碰撞避免或信号滤波的情况下，成功控制两台真实机器人手臂实现协调的双臂操作？
• RQ2 仿真器修改（如执行器噪声和观测噪声）如何影响策略在真实机器人系统中的迁移性能？
• RQ3 能够隔离双臂协调问题、排除感知和高精度操作挑战的最小但有效的任务设计是什么？
• RQ4 使用关节空间控制和原始观测是否能消除实时机器人控制中对逆运动学和轨迹规划的需求？
• RQ5 单一神经网络策略在真实双臂操作环境中，能在多大程度上学习到鲁棒且具备重试能力的行为（如掉落后的重新抓取）？

主要发现

• 该系统在真实 xArm6 机器人上实现了 100% 的抓取任务成功率，证明了积木抓取和保持的可靠性。
• 连接任务在真实世界中实现了 65% 的成功率，成功定义为磁性积木之间的距离小于 1mm 且方向正确。
• 仿真器修改（如执行器噪声和观测噪声）对于真实世界迁移至关重要，尽管这增加了训练时间（例如，带修改的连接任务训练达 18 亿步，而无修改的仅需 2.8 亿步）。
• 未进行仿真器修改训练的策略无法泛化到真实机器人，凸显了仿真到现实领域随机化的重要性。
• 采用关节空间控制消除了对逆运动学、轨迹规划和碰撞检测模块的需求，简化了实时控制栈。
• 磁性积木连接任务成功将双臂协调作为核心挑战，实现了对双臂操作技能的聚焦评估，避免了感知和精度过载的影响。