[论文解读] Hierarchical Policy Design for Sample-Efficient Learning of Robot Table Tennis Through Self-Play

Reza Mahjourian, Risto Miikkulainen+3 more|arXiv (Cornell University)|Nov 30, 2018

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出了一种分层强化学习框架，通过结合人类示范和自我对弈，实现了机器人乒乓球训练的样本高效化。通过融合无模型策略学习（用于策略决策）、基于模型的动力学预测（用于球体物理）以及解析控制器（用于机器人运动学），该方法仅需约24,000次自我对弈交互和约7,000条人类轨迹，即可实现稳健的乒乓球对战表现，并支持在真实环境中直接部署，无需模拟到现实的策略迁移。

ABSTRACT

Training robots with physical bodies requires developing new methods and action representations that allow the learning agents to explore the space of policies efficiently. This work studies sample-efficient learning of complex policies in the context of robot table tennis. It incorporates learning into a hierarchical control framework using a model-free strategy layer (which requires complex reasoning about opponents that is difficult to do in a model-based way), model-based prediction of external objects (which are difficult to control directly with analytic control methods, but governed by learnable and relatively simple laws of physics), and analytic controllers for the robot itself. Human demonstrations are used to train dynamics models, which together with the analytic controller allow any robot that is physically capable to play table tennis without training episodes. Using only about 7,000 demonstrated trajectories, a striking policy can hit ball targets with about 20 cm error. Self-play is used to train cooperative and adversarial strategies on top of model-based striking skills trained from human demonstrations. After only about 24,000 strikes in self-play the agent learns to best exploit the human dynamics models for longer cooperative games. Further experiments demonstrate that more flexible variants of the policy can discover new strikes not demonstrated by humans and achieve higher performance at the expense of lower sample-efficiency. Experiments are carried out in a virtual reality environment using sensory observations that are obtainable in the real world. The high sample-efficiency demonstrated in the evaluations show that the proposed method is suitable for learning directly on physical robots without transfer of models or policies from simulation. Supplementary material available at https://sites.google.com/view/robottabletennis

研究动机与目标

• 在数据采集昂贵且不可并行化的物理环境中，实现复杂机器人技能的样本高效学习。
• 开发一种分层控制架构，集成无模型、基于模型和解析控制组件，以提升学习效率。
• 通过利用人类示范和自我对弈，实现在无需模拟到现实策略迁移的前提下，将乒乓球智能体直接部署于真实世界。
• 使智能体能够通过自我对弈发现新颖的、人类未预设的策略，同时保持高性能与泛化能力。
• 证明机器人可通过结合人类学习的动力学模型与高层策略层面的高效强化学习，以极低交互次数掌握乒乓球技能。

提出的方法

• 该方法采用具有三层结构的分层策略：无模型策略用于对手推理，基于模型的球体动力学预测器利用从人类示范中学习的动力学模型，以及用于机器人拍面运动的解析控制器。
• 将人类示范轨迹（n ≈ 7,000）进行归一化和子采样，用于训练动力学模型，以预测不同拍面击打下的球体轨迹。
• 使用定时运动目标（位置与速度）作为高层动作，表示复杂的拍面运动，从而实现策略策略的高效学习。
• 解析拍面控制器可在任意兼容的机器人硬件上执行给定的运动目标，实现与机器人无关的策略部署。
• 通过自我对弈训练策略策略，智能体在合作与对抗两种模式下与自身对战，以发现新的游戏策略。
• 仅对高层策略策略应用强化学习，从而降低探索复杂度并提升样本效率。

实验结果

研究问题

• RQ1 分层策略设计是否能够仅使用数百条人类示范，实现复杂机器人乒乓球策略的样本高效学习？
• RQ2 基于人类数据训练的球体动力学模型预测，是否能够在无需直接物理交互的情况下，实现准确且泛化能力强的击球预测？
• RQ3 基于模型的技能策略进行自我对弈，是否能够发现超越人类示范的新型、高性能合作与对抗策略？
• RQ4 解析控制器与学习到的动力学模型的结合，是否能够实现无需模拟到现实迁移的机器人真实硬件直接部署？
• RQ5 分层分解在多大程度上降低了连续控制任务中高层机器人策略学习的样本复杂度？

主要发现

• 该方法仅使用约7,000条人类示范轨迹，即实现了平均误差约为20 cm的击球命中策略。
• 在约24,000次球拍对打的自我对弈后，智能体学习到的策略策略可平均维持14–16次连续击打的对打。
• 当在更灵活的技能（如“击球”）上训练时，智能体发现了新颖的、非人类风格的击打方式，表现出超越示范动作的涌现策略行为。
• 解析控制器与动力学模型使机器人无需额外训练即可在真实硬件上实现6–8次击打对打。
• 整个系统可在真实机器人上直接部署，且所需数据极少，表明该方法具备足够的样本效率，可避免模拟到现实的迁移。
• 分层设计通过将强化学习问题局限在策略层级，显著降低了问题复杂度，实现了快速收敛且对超参数调优需求极少。