[论文解读] i-Sim2Real: Reinforcement Learning of Robotic Policies in Tight Human-Robot Interaction Loops

Saminda Abeyruwan, Laura Graesser+7 more|arXiv (Cornell University)|Jul 14, 2022

Reinforcement Learning in Robotics被引用 12

一句话总结

本文提出 i-Sim2Real (i-S2R)，一种通过在模拟与真实世界部署之间交替进行、协同进化人类行为模型与机器人策略的迭代式仿真到现实强化学习框架，用于训练在紧密人机交互中表现良好的机器人策略。该方法通过使用一种新颖的黑箱梯度感知（BGS）算法，并利用真实交互数据对人类行为模型进行优化，实现了与人类进行平均22次成功的乒乓球对打回合——比S2R+FT基线高出70%至175%，显著提升了性能。

ABSTRACT

Sim-to-real transfer is a powerful paradigm for robotic reinforcement learning. The ability to train policies in simulation enables safe exploration and large-scale data collection quickly at low cost. However, prior works in sim-to-real transfer of robotic policies typically do not involve any human-robot interaction because accurately simulating human behavior is an open problem. In this work, our goal is to leverage the power of simulation to train robotic policies that are proficient at interacting with humans upon deployment. But there is a chicken and egg problem -- how to gather examples of a human interacting with a physical robot so as to model human behavior in simulation without already having a robot that is able to interact with a human? Our proposed method, Iterative-Sim-to-Real (i-S2R), attempts to address this. i-S2R bootstraps from a simple model of human behavior and alternates between training in simulation and deploying in the real world. In each iteration, both the human behavior model and the policy are refined. For all training we apply a new evolutionary search algorithm called Blackbox Gradient Sensing (BGS). We evaluate our method on a real world robotic table tennis setting, where the objective for the robot is to play cooperatively with a human player for as long as possible. Table tennis is a high-speed, dynamic task that requires the two players to react quickly to each other's moves, making for a challenging test bed for research on human-robot interaction. We present results on an industrial robotic arm that is able to cooperatively play table tennis with human players, achieving rallies of 22 successive hits on average and 150 at best. Further, for 80% of players, rally lengths are 70% to 175% longer compared to the sim-to-real plus fine-tuning (S2R+FT) baseline. For videos of our system in action, please see https://sites.google.com/view/is2r.

研究动机与目标

• 为解决人机交互中仿真到现实强化学习的‘先有鸡还是先有蛋’问题，即人类行为难以仿真且需要真实世界数据来建模。
• 开发一种框架，使机器人策略能够在仿真中训练，并在部署后能有效与人类互动。
• 通过利用真实交互数据，迭代改进人类行为模型与机器人策略，减少对昂贵真实世界微调的依赖。
• 在高速、动态的任务——协作式乒乓球中评估该方法，该任务要求紧密、实时的人机协调。
• 证明对人类行为模型的迭代优化可显著提升现实世界性能，相比标准的仿真到现实迁移方法。

提出的方法

• 该方法在使用人类行为模型于仿真中训练机器人策略与在真实世界中部署策略以收集人机交互数据之间交替进行。
• 在机器人部署前，从真实世界收集的数据中构建一个粗略的初始人类行为模型，以捕捉球的轨迹分布。
• 利用真实世界交互数据，迭代优化人类行为模型，提升其在后续仿真训练中的保真度。
• 机器人策略采用一种名为黑箱梯度感知（BGS）的新颖进化搜索算法进行训练，该算法可在不计算环境梯度的情况下实现高效的策略优化。
• 人类行为模型通过基于分布的球抛掷表示进行更新，其参数被调整以匹配观察到的人类抛掷模式。
• 该过程在多个迭代周期中重复进行，每个周期均提升人类模型与机器人策略的性能，直至性能收敛。

实验结果

研究问题

• RQ1 是否可以在没有先前真实世界交互数据的情况下，在仿真中有效训练机器人策略，使其在高速、动态任务（如乒乓球）中与人类实现协作式互动？
• RQ2 从真实世界交互数据中对人类行为模型进行迭代优化，如何提升人机交互中的仿真到现实迁移性能？
• RQ3 人类行为模型的质量在多大程度上影响零样本仿真到现实迁移性能与微调效率？
• RQ4 与标准的仿真到现实加微调（S2R+FT）方法相比，所提出的i-S2R框架在不同人类玩家中的回合长度与鲁棒性表现如何？
• RQ5 学习到的人类行为模型是否能有效用于在仿真中生成多样化、逼真的人类轨迹，从而支持稳健的策略训练？

主要发现

• i-S2R方法在真实世界协作式乒乓球中实现了平均22次成功击球的回合长度，显著优于S2R+FT基线。
• 在80%的人类玩家中，i-S2R策略实现的回合长度比S2R+FT基线高出70%至175%。
• i-S2R策略的零样本迁移性能显著优于基线方法，其中中等分布的人类模型性能已接近S2R-Oracle（理想）模型。
• 该方法减少了对昂贵真实世界微调的依赖，因为迭代式人类模型优化带来了更好的初始策略泛化能力。
• 热力图分析显示，与S2R+FT相比，i-S2R策略在更广泛的球起始与落点位置上实现了更高的击球率。
• 球轨迹的t-SNE可视化结果证实，i-S2R方法随时间学习到了更多样化且更符合人类特征的球轨迹，且仿真与真实世界分布之间的重叠度更高。