[论文解读] Goal-Conditioned Imitation Learning using Score-based Diffusion Policies

Moritz Reuss, Maximilian Xiling Li+2 more|arXiv (Cornell University)|Jan 1, 2023

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出BESO，一种基于分数的模仿学习框架，利用基于分数的扩散模型（SDM）从未经筛选的玩耍数据中生成多样化、多模态的行为。通过将分数模型的训练与推理过程解耦，BESO仅通过3次去噪步骤即可实现高性能行为生成，显著快于以往基于扩散模型的策略；同时，借助无分类器指导（classifier-free guidance），实现了目标相关与目标无关策略的同步学习。

ABSTRACT

We propose a new policy representation based on score-based diffusion models (SDMs). We apply our new policy representation in the domain of Goal-Conditioned Imitation Learning (GCIL) to learn general-purpose goal-specified policies from large uncurated datasets without rewards. Our new goal-conditioned policy architecture "$ extbf{BE}$havior generation with $ extbf{S}$c$ extbf{O}$re-based Diffusion Policies" (BESO) leverages a generative, score-based diffusion model as its policy. BESO decouples the learning of the score model from the inference sampling process, and, hence allows for fast sampling strategies to generate goal-specified behavior in just 3 denoising steps, compared to 30+ steps of other diffusion based policies. Furthermore, BESO is highly expressive and can effectively capture multi-modality present in the solution space of the play data. Unlike previous methods such as Latent Plans or C-Bet, BESO does not rely on complex hierarchical policies or additional clustering for effective goal-conditioned behavior learning. Finally, we show how BESO can even be used to learn a goal-independent policy from play-data using classifier-free guidance. To the best of our knowledge this is the first work that a) represents a behavior policy based on such a decoupled SDM b) learns an SDM based policy in the domain of GCIL and c) provides a way to simultaneously learn a goal-dependent and a goal-independent policy from play-data. We evaluate BESO through detailed simulation and show that it consistently outperforms several state-of-the-art goal-conditioned imitation learning methods on challenging benchmarks. We additionally provide extensive ablation studies and experiments to demonstrate the effectiveness of our method for goal-conditioned behavior generation. Demonstrations and Code are available at https://intuitive-robots.github.io/beso-website/

研究动机与目标

• 解决从大规模、未经筛选、无奖励信号的玩耍数据集中学习多功能目标条件策略的挑战，且无需预定义任务标签。
• 克服先前方法在离线模仿学习中处理多模态行为分布和高维动作空间时的局限性。
• 利用扩散模型实现快速、确定性的行为生成，将推理时间从30+步减少至仅3步。
• 通过无分类器指导，从同一数据集中同时学习目标相关和目标无关策略。
• 提供一种稳定、单目标的训练框架，避免使用复杂的分层结构或额外聚类方法。

提出的方法

• BESO采用基于分数的扩散模型（SDM）作为核心策略表示，通过学习反转一个前向SDE过程，该过程逐步向状态-动作轨迹添加噪声。
• 该方法将分数模型的训练与推理采样过程解耦，实现仅需3步即可完成的快速迭代去噪，用于动作生成。
• 采用基于Transformer的架构并结合预处理（preconditioning），以建模给定观测和目标状态下的条件动作分布。
• 在推理阶段应用无分类器指导（CFG），无需重新训练即可从同一模型中生成目标条件策略和无条件策略。
• 在采样过程中评估了噪声注入，但在低维动作空间中未发现其带来显著性能提升，因此采用确定性推理。
• 模型使用离线、未经筛选的玩耍数据进行端到端训练，无需奖励塑形或人工标注的轨迹。

Figure 1: Overview of the action generation process of BESO with the used model architecture. Left: General Action Generation Process using the Diffusion Process to denoise the next action given the current observation $\boldsymbol{s}$ and desired goal state $\boldsymbol{g}$ in $N$ -steps. Middle: t

实验结果

研究问题

• RQ1 基于分数的扩散模型能否在离线模仿学习中有效表示多模态、目标条件的行为策略？
• RQ2 基于扩散的策略是否能在仅3次去噪步骤内实现高性能，显著缩短相比先前方法的推理时间？
• RQ3 单一SDM能否通过无分类器指导同时学习目标相关和目标无关策略？
• RQ4 在基于步长的动作生成中，采样过程中的噪声注入是否能提升性能，如同在图像生成中那样？
• RQ5 BESO能否在无需分层结构或额外聚类的情况下，泛化到多样化、高维的环境中？

主要发现

• BESO在具有挑战性的GCIL基准测试（包括Relay Kitchen和Block-Push环境）中，优于最先进的方法如C-BeT和Latent Motor Plans。
• 模型仅通过3次去噪步骤即达到SOTA性能，显著快于以往基于扩散模型的策略（需30+步）。
• 无分类器指导使模型能够同时学习目标相关和目标无关策略，当λ=0时，后者可恢复为随机轨迹策略。
• 在基于步长的动作生成中，采样过程的噪声注入未带来性能提升，表明在低维动作空间中，高维噪声的影响较小。
• CFG中最佳性能出现在λ=1.25，而更高值在高维动作空间中导致不稳定。
• 消融研究证实，解耦的训练-推理设计与快速数值求解器对模型的速度和稳定性至关重要。

Figure 2: Simulation environments for testing the performance of BESO: Multi-Modal Block-push (left); Relay Kitchen (middle); CALVIN (right)