[论文解读] Contextual Imagined Goals for Self-Supervised Robotic Learning

Ashvin Nair, Shikhar Bahl+4 more|arXiv (Cornell University)|Oct 23, 2019

Reinforcement Learning in Robotics参考文献 40被引用 15

一句话总结

该论文提出上下文感知想象目标（CC-RIG），一种自监督强化学习方法，使机器人能够从原始视觉观测中自主生成可行且上下文相关的目标。通过使用上下文条件变分自编码器（VAE）将静态场景上下文与可控制对象状态解耦，该方法实现了样本高效、离策略的技能学习，能够在视觉多样性高的真实世界环境中泛化至新物体。

ABSTRACT

While reinforcement learning provides an appealing formalism for learning individual skills, a general-purpose robotic system must be able to master an extensive repertoire of behaviors. Instead of learning a large collection of skills individually, can we instead enable a robot to propose and practice its own behaviors automatically, learning about the affordances and behaviors that it can perform in its environment, such that it can then repurpose this knowledge once a new task is commanded by the user? In this paper, we study this question in the context of self-supervised goal-conditioned reinforcement learning. A central challenge in this learning regime is the problem of goal setting: in order to practice useful skills, the robot must be able to autonomously set goals that are feasible but diverse. When the robot's environment and available objects vary, as they do in most open-world settings, the robot must propose to itself only those goals that it can accomplish in its present setting with the objects that are at hand. Previous work only studies self-supervised goal-conditioned RL in a single-environment setting, where goal proposals come from the robot's past experience or a generative model are sufficient. In more diverse settings, this frequently leads to impossible goals and, as we show experimentally, prevents effective learning. We propose a conditional goal-setting model that aims to propose goals that are feasible from the robot's current state. We demonstrate that this enables self-supervised goal-conditioned off-policy learning with raw image observations in the real world, enabling a robot to manipulate a variety of objects and generalize to new objects that were not seen during training.

研究动机与目标

• 使机器人能够在无需人工设计奖励函数或物体检测器的情况下，自主发现并练习在视觉多样化、开放世界环境中的可行技能。
• 解决自监督强化学习中的目标设定挑战，其中先前方法因在动态或多变场景中提出不可行目标而失败。
• 从原始图像观测中学习可泛化的策略，使其能泛化至训练期间未见过的新物体。
• 通过基于当前场景上下文进行目标生成，提升真实世界机器人操作中的样本效率和鲁棒性。

提出的方法

• 训练一个上下文条件变分自编码器（CC-VAE），通过在潜在变量 $ z_t $ 上施加信息瓶颈，将场景上下文（如物体身份、光照）与可控制状态（如物体位置）解耦。
• 模型将初始状态 $ s_0 $ 编码为上下文 $ z_c $，并将轨迹动态编码为 $ z_t $，形成联合表示 $ \bar{z}_t = (z_t, z_c) $ 作为策略输入。
• 通过在 $ z_c $ 条件下重采样 $ z_t $ 来生成目标，确保所提目标在当前场景上下文中是可行的。
• 通过离策略强化学习训练一个目标条件策略，以最小化代理最终状态与 $ \bar{z}_t $ 空间中生成目标之间的潜在距离。
• 该方法使用潜在距离度量（CVAE 距离）作为奖励信号，实现从原始图像观测中学习，而无需密集监督。
• 系统在包含 20 种训练物体的真实世界推动环境中进行评估，并在未见过的新物体上进行测试。

实验结果

研究问题

• RQ1 机器人是否能够在无需事先了解物体或任务知识的情况下，在视觉复杂的真实世界环境中自动生成可行且多样的目标？
• RQ2 上下文条件目标生成在自监督机器人学习中如何提升样本效率和泛化能力？
• RQ3 在仅使用视觉观测和自监督目标设定的情况下，一个在多样化物体上训练的模型是否能泛化至训练期间未见过的新物体？
• RQ4 将场景上下文与可控制动态解耦是否能带来更鲁棒和可泛化的视觉强化学习策略？

主要发现

• CC-RIG 在所有评估指标上均优于标准 RIG（随机想象目标），在新物体上的 CVAE 距离为 1.51 ± 0.71，而 RIG 为 2.37 ± 0.97。
• 在未见过的新物体上，CC-RIG 的中位数物体位置距离为 11.5 ± 2.9 cm，显著优于 RIG 的 17.1 ± 8.2 cm。
• 该方法能有效泛化至训练分布外的新物体，展现出对视觉和物体层面差异的鲁棒性。
• 与 RIG 相比，CC-RIG 平均将像素级距离减少 40.8%，表明在目标达成方面具有更高的视觉准确性。
• 使用上下文条件目标生成可防止模型提出不可行目标，而这类问题在非上下文方法中普遍存在。
• 该系统成功学习在真实世界环境中推动各种物体，包括颜色和纹理各异的新滑块，仅依赖原始图像观测和自监督学习。