[论文解读] Bisimulation Makes Analogies in Goal-Conditioned Reinforcement Learning

Philippe Hansen-Estruch, Amy Zhang+3 more|arXiv (Cornell University)|Apr 27, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出目标条件化双射（GCB），一种表征学习方法，通过学习功能等价的状杰表征，使智能体能够在类似任务间泛化技能。通过利用基于度量的状态-目标对抽象，GCB 允许策略从相似任务的示例中推断目标，在未见目标泛化任务中达到 40% 的成功率，并在标准目标到达基准测试中优于先前的自监督方法，尤其在干扰条件下表现更优。

ABSTRACT

Building generalizable goal-conditioned agents from rich observations is a key to reinforcement learning (RL) solving real world problems. Traditionally in goal-conditioned RL, an agent is provided with the exact goal they intend to reach. However, it is often not realistic to know the configuration of the goal before performing a task. A more scalable framework would allow us to provide the agent with an example of an analogous task, and have the agent then infer what the goal should be for its current state. We propose a new form of state abstraction called goal-conditioned bisimulation that captures functional equivariance, allowing for the reuse of skills to achieve new goals. We learn this representation using a metric form of this abstraction, and show its ability to generalize to new goals in simulation manipulation tasks. Further, we prove that this learned representation is sufficient not only for goal conditioned tasks, but is amenable to any downstream task described by a state-only reward function. Videos can be found at https://sites.google.com/view/gc-bisimulation.

研究动机与目标

• 通过学习功能等价的表征，使智能体能够在不依赖精确目标图像的情况下，泛化技能至类似任务。
• 设计一种表征学习目标，基于状态-目标转移捕捉任务级相似性，而非静态状态不变性。
• 设计一种通用表征，支持目标条件化与仅状态奖励的任务。
• 在模拟环境中评估该方法，其中智能体需从类比演示中推断目标。

提出的方法

• 提出目标条件化双射（GCB），一种状态抽象形式，将政策行为下功能等价的任务（状态-目标对）分组。
• 定义基于度量的距离函数，用于衡量状态-目标对之间的功能相似性，从而在任务上建立连续嵌入空间。
• 使用对比学习目标学习组合式表征，促使相似任务抽象在嵌入空间中彼此接近。
• 采用成对状态嵌入空间，其中每个状态由状态与任务抽象的联合嵌入表示，支持目标迁移。
• 引入一种新颖的价值界 bound，保证在所有仅状态奖励函数上的性能泛化。
• 采用自监督对比学习目标，仅使用环境中的演示和转移数据进行表征训练。

实验结果

研究问题

• RQ1 能否学习到一种表征，使智能体能够从类比任务中推断新目标，而无需精确的目标图像？
• RQ2 当仅提供类比任务作为目标描述时，所学表征在未见环境中的泛化能力如何？
• RQ3 所提出的 GCB 表征是否在标准目标条件化强化学习基准测试中优于现有自监督表征学习方法？
• RQ4 所学表征是否足以支持任何由仅状态奖励函数定义的下游任务？
• RQ5 该表征能否捕捉在不同视觉和任务配置（如不同物体形状或大小）下的功能等价性？

主要发现

• GCB 在目标泛化基准测试中平均达到 40% 的成功率，表明其具备强大的类比推理能力，即智能体可从类比任务中推断目标。
• 在无干扰的标准目标到达任务中，GCB 在 Drawer 环境中成功率超过 50%，优于所有其他表征学习基线方法，仅低于 VAE 和 CCVAE。
• 在真实视频干扰条件下，GCB 在 Button 和 Drawer 环境中均表现最佳，显示出对视觉噪声的鲁棒性。
• 消融实验表明，组合式单状态表征 ψ 至关重要，因为无 ψ 的 GC-DBC 方法性能显著下降。
• 理论分析表明，GCB 嵌入空间中的 ℓ₁ 距离可界定状态间的价值差异，从而确保在所有仅状态奖励函数上的性能泛化。
• 图 5 的定性分析表明，GCB 表征能够捕捉功能类比，例如切胡萝卜和萝卜，通过在不同初始状态下映射相似的任务转换。