[论文解读] Learning to Play Table Tennis From Scratch using Muscular Robots

Dieter Büchler, Simon Guist+4 more|arXiv (Cornell University)|Jun 10, 2020

Muscle activation and electromyography studies被引用 11

一句话总结

本论文展示了在真实的人形机器人手臂上实现安全、端到端的强化学习（RL）桌球运动，该机械臂由气动人工肌肉（PAMs）驱动，无需安全约束或先验示范，即可实现高达12 m/s的高速回球。PAMs的柔软、可逆驱动特性在探索过程中天然防止了损坏，使得无需模型的强化学习能够仅通过针对速度和准确性的奖励函数，从零开始学习。

ABSTRACT

Dynamic tasks like table tennis are relatively easy to learn for humans but pose significant challenges to robots. Such tasks require accurate control of fast movements and precise timing in the presence of imprecise state estimation of the flying ball and the robot. Reinforcement Learning (RL) has shown promise in learning of complex control tasks from data. However, applying step-based RL to dynamic tasks on real systems is safety-critical as RL requires exploring and failing safely for millions of time steps in high-speed regimes. In this paper, we demonstrate that safe learning of table tennis using model-free Reinforcement Learning can be achieved by using robot arms driven by pneumatic artificial muscles (PAMs). Softness and back-drivability properties of PAMs prevent the system from leaving the safe region of its state space. In this manner, RL empowers the robot to return and smash real balls with 5 m\s and 12m\s on average to a desired landing point. Our setup allows the agent to learn this safety-critical task (i) without safety constraints in the algorithm, (ii) while maximizing the speed of returned balls directly in the reward function (iii) using a stochastic policy that acts directly on the low-level controls of the real system and (iv) trains for thousands of trials (v) from scratch without any prior knowledge. Additionally, we present HYSR, a practical hybrid sim and real training that avoids playing real balls during training by randomly replaying recorded ball trajectories in simulation and applying actions to the real robot. This work is the first to (a) fail-safe learn of a safety-critical dynamic task using anthropomorphic robot arms, (b) learn a precision-demanding problem with a PAM-driven system despite the control challenges and (c) train robots to play table tennis without real balls. Videos and datasets are available at muscularTT.embodied.ml.

研究动机与目标

• 在真实硬件上实现安全、高速的动态机器人任务探索，如桌球运动。
• 克服传统安全机制在高速运动中限制性能的局限性。
• 证明PAM驱动的软体机器人能够安全地支持无模型强化学习，用于高精度任务。
• 开发一种混合仿真到现实的训练方法（HYSR），避免在训练过程中使用真实球体。
• 在无示范或安全约束的情况下，实现高精度、高速度的桌球回球。

提出的方法

• 使用具有四自由度的PAM驱动机器人手臂，通过实时压力控制实现肌肉驱动。
• 直接在低层肌肉压力指令上应用无模型深度强化学习，采用随机策略。
• 设计奖励函数，以最大化向目标落点的回球速度和准确性。
• 引入HYSR：一种混合训练流程，在仿真中重放记录的球体轨迹，同时在真实机器人上执行动作。
• 使用基于颜色的摄像头系统实时估算球体位置，作为状态观测。
• 设定压力限制，使得每对拮抗肌群中的一个肌肉在达到关节极限时停止，确保探索过程中的物理安全性。

实验结果

研究问题

• RQ1 无模型强化学习能否在真实机器人硬件上安全地应用于高速、动态任务（如桌球），而无需显式安全约束？
• RQ2 PAM驱动的软体机器人能否实现安全探索与学习，从而避免传统电机驱动系统在高速爆发动作中受损？
• RQ3 混合仿真到现实的训练流程（HYSR）在多大程度上可以替代训练过程中的真实球体交互，同时保持策略性能？
• RQ4 端到端的强化学习从零开始学习高精度、高速度的桌球运动，在无示范或先验知识的情况下效果如何？
• RQ5 PAMs固有的可逆驱动性和顺应性是否足以替代动态任务中对动作滤波或保守控制启发式方法的需求？

主要发现

• PAM驱动的机器人成功学习到以平均5 m/s和12 m/s的速度将球击打至目标落点，且未超过关节极限。
• 机器人仅通过针对速度和准确性的奖励函数，无需任何安全约束或示范，即从零开始实现了高精度的桌球击打。
• 系统学会在撞击前约0.6秒将肌肉压力从最小值切换到最大值，从而实现爆发式加速。
• HYSR实现了数千次训练试验而无需使用真实球体，显著提升了训练的实用性。
• PAMs的柔性驱动特性在探索过程中天然防止了损坏，消除了对动作滤波或保守安全启发式方法的需求。
• 该方法在真实硬件上实现了故障安全学习，标志着首次在类似击打真实球体这类安全关键型动态任务中实现此类演示。