[论文解读] DayDreamer: World Models for Physical Robot Learning

Philipp Wu, Alejandro Escontrela+3 more|arXiv (Cornell University)|Jun 28, 2022

Reinforcement Learning in Robotics被引用 46

一句话总结

本论文将 Dreamer 世界模型方法应用于四种现实世界机器人，实现直接在物理世界中的样本高效在线学习，无需仿真器，覆盖运动、操作与导航任务。

ABSTRACT

To solve tasks in complex environments, robots need to learn from experience. Deep reinforcement learning is a common approach to robot learning but requires a large amount of trial and error to learn, limiting its deployment in the physical world. As a consequence, many advances in robot learning rely on simulators. On the other hand, learning inside of simulators fails to capture the complexity of the real world, is prone to simulator inaccuracies, and the resulting behaviors do not adapt to changes in the world. The Dreamer algorithm has recently shown great promise for learning from small amounts of interaction by planning within a learned world model, outperforming pure reinforcement learning in video games. Learning a world model to predict the outcomes of potential actions enables planning in imagination, reducing the amount of trial and error needed in the real environment. However, it is unknown whether Dreamer can facilitate faster learning on physical robots. In this paper, we apply Dreamer to 4 robots to learn online and directly in the real world, without simulators. Dreamer trains a quadruped robot to roll off its back, stand up, and walk from scratch and without resets in only 1 hour. We then push the robot and find that Dreamer adapts within 10 minutes to withstand perturbations or quickly roll over and stand back up. On two different robotic arms, Dreamer learns to pick and place multiple objects directly from camera images and sparse rewards, approaching human performance. On a wheeled robot, Dreamer learns to navigate to a goal position purely from camera images, automatically resolving ambiguity about the robot orientation. Using the same hyperparameters across all experiments, we find that Dreamer is capable of online learning in the real world, establishing a strong baseline. We release our infrastructure for future applications of world models to robot learning.

研究动机与目标

• 证明 Dreamer 能在物理机器人上直接实现在线、无仿真学习。
• 展示在单一超参数设定下跨机器人适用性，覆盖运动、操作与导航。
• 在真实硬件上评估基于世界模型的规划相对于传统无模型基线的数据效率。
• 强调开源基础设施，以支持未来基于世界模型的机器人学习研究。

提出的方法

• 使用 Dreamer 框架从真实世界经验的回放缓冲中学习世界模型。
• 使用基于 RSSM 的世界模型（编码器、动态、解码器、奖励网络）预测未来潜在表示。
• 从潜在空间中的虚拟滚动中训练演员-评论家策略，使用 lambda-returns 作为价值目标。
• 实现数据收集与学习的解耦，以实现并行、低延迟的训练与互动。
• 将多模态传感数据融合为潜在代码，以在不进行显式状态估计的情况下实现规划。
• 通过熵正则化维持策略探索，并使用合适的梯度估计器（连续动作使用重参数化，离散动作使用 Reinforce）。

实验结果

研究问题

• RQ1 Dreamer 能否在真实世界中直接实现机器人学习而无需仿真器？
• RQ2 Dreamer 是否在不同的机器人平台、传感模态和动作空间上取得成功？
• RQ3 在真实机器人上，Dreamer 的数据效率相对于强基线如何？
• RQ4 在多种现实任务中应用单一超参数集的可行性如何？
• RQ5 在实际机器人设置中，哪些硬件和传感模态与 Dreamer 兼容？

主要发现

• Dreamer 直接在四个机器人上在真实世界中学习，无需仿真器。
• 一个四足机器人在约1小时的真实世界训练中学会翻滚、起立和行走；对扰动的适应在10分钟内完成。
• UR5 和 XArm 的从像素和稀疏奖励中实现视觉抓取放置任务，数小时后接近人类水平。
• 使用 RGB 图像进行的 Sphero 导航在不到2小时内达到目标；DrQv2 在这一任务中达到相同性能。
• 在若干任务中，Dreamer 的样本效率优于强基线（Rainbow DQN、PPO）和人类操作员。
• 相同的超参数在运动、操作和导航任务中都适用。