Skip to main content
QUICK REVIEW

[论文解读] Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning

Zhendong Wang, Jonathan J. Hunt|arXiv (Cornell University)|Aug 12, 2022
Reinforcement Learning in RoboticsComputer Science被引用 33
一句话总结

本文提出 Diffusion-QL,一种离线 RL 方法,使用条件扩散模型作为表达能力强的策略,由行为克隆正则化,并通过 Q-learning 指导,以在离线数据集中改进行动。它在 D4RL 基准上实现了最先进的性能。

ABSTRACT

Offline reinforcement learning (RL), which aims to learn an optimal policy using a previously collected static dataset, is an important paradigm of RL. Standard RL methods often perform poorly in this regime due to the function approximation errors on out-of-distribution actions. While a variety of regularization methods have been proposed to mitigate this issue, they are often constrained by policy classes with limited expressiveness that can lead to highly suboptimal solutions. In this paper, we propose representing the policy as a diffusion model, a recent class of highly-expressive deep generative models. We introduce Diffusion Q-learning (Diffusion-QL) that utilizes a conditional diffusion model to represent the policy. In our approach, we learn an action-value function and we add a term maximizing action-values into the training loss of the conditional diffusion model, which results in a loss that seeks optimal actions that are near the behavior policy. We show the expressiveness of the diffusion model-based policy, and the coupling of the behavior cloning and policy improvement under the diffusion model both contribute to the outstanding performance of Diffusion-QL. We illustrate the superiority of our method compared to prior works in a simple 2D bandit example with a multimodal behavior policy. We then show that our method can achieve state-of-the-art performance on the majority of the D4RL benchmark tasks.

研究动机与目标

  • 使用扩散模型来捕捉离线 RL 中的复杂行为策略,从而解决表达性策略类的局限性。
  • 开发一个基于扩散的策略,结合行为克隆和 Q 值引导,在离线情况下改进动作选择。
  • 在 D4RL 任务上展示相对于先前的策略正则化和其他离线 RL 方法的经验性能优势。

提出的方法

  • 将策略表示为给定状态下的动作的条件扩散模型。
  • 使用行为克隆损失 L_d 来训练扩散模型,使其与离线数据分布匹配。
  • 引入一个 Q-learning 引导项 L_q,使通过扩散过程采样的高价值动作更可能被采纳。
  • 将损失合成为 L = L_d + L_q,L_q 通过基于数据集 Q 值量级的归一化因子 alpha 进行缩放。
  • 用标准的双重 Q-learning 和目标网络学习 Q 函数;迭代更新两个 Q 网络和扩散策略。
  • 使用扩散时间步计数 N 来平衡表达性与计算,beta_i 的计划如 DDPM 风格模型。

实验结果

研究问题

  • RQ1扩散基策略是否比传统高斯或 CVAE 基策略在离线 RL 中更能捕捉多模态行为?
  • RQ2将 Q-learning 指导整合到扩散策略中,是否能在离线 RL 中超越仅行为克隆的性能?
  • RQ3Diffusion-QL 的扩散时间步计数 N 对表达性、性能和计算有何影响?
  • RQ4与最先进的基线相比,Diffusion-QL 在多样化的离线 RL 基准(Gym、AntMaze、Adroit、Kitchen)上的表现如何?

主要发现

  • 在大多数 D4RL 任务上,Diffusion-QL 相对于强大的离线 RL 基线取得了更好的性能。
  • 扩散策略能够有效捕捉正则化高斯策略难以处理的多模态行为分布。
  • 将行为克隆与 Q 值引导的策略改进结合起来,使在观察数据区域内的行动接近最优。
  • 在引入 Q 值引导的情况下,即使较少的扩散步骤(较小的 N),也能实现强劲的性能,提供了有利的计算性能权衡。
  • Diffusion-QL 在奖励稀缺的挑战域(如 AntMaze)以及人类驱动的 Adroit/Kitchen 任务上显示出显著提升。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。