Skip to main content
QUICK REVIEW

[논문 리뷰] Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning

Zhendong Wang, Jonathan J. Hunt|arXiv (Cornell University)|2022. 08. 12.
Reinforcement Learning in RoboticsComputer Science인용 수 33
한 줄 요약

본 논문은 오프라인 RL에서 조건부 확산 모델을 표현적 정책으로 활용하는 Diffusion-QL을 제시한다. 이는 행동복제로 정규화되고 Q-learning으로 가이드를 받아 오프라인 데이터셋 내에서 행동을 개선한다. D4RL 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

Offline reinforcement learning (RL), which aims to learn an optimal policy using a previously collected static dataset, is an important paradigm of RL. Standard RL methods often perform poorly in this regime due to the function approximation errors on out-of-distribution actions. While a variety of regularization methods have been proposed to mitigate this issue, they are often constrained by policy classes with limited expressiveness that can lead to highly suboptimal solutions. In this paper, we propose representing the policy as a diffusion model, a recent class of highly-expressive deep generative models. We introduce Diffusion Q-learning (Diffusion-QL) that utilizes a conditional diffusion model to represent the policy. In our approach, we learn an action-value function and we add a term maximizing action-values into the training loss of the conditional diffusion model, which results in a loss that seeks optimal actions that are near the behavior policy. We show the expressiveness of the diffusion model-based policy, and the coupling of the behavior cloning and policy improvement under the diffusion model both contribute to the outstanding performance of Diffusion-QL. We illustrate the superiority of our method compared to prior works in a simple 2D bandit example with a multimodal behavior policy. We then show that our method can achieve state-of-the-art performance on the majority of the D4RL benchmark tasks.

연구 동기 및 목표

  • 오프라인 RL에서 표현적 정책 클래스의 한계를 확산 모델을 사용해 복잡한 정책을 포착함으로써 극복한다.
  • 오프라인에서 행동 선택을 개선하기 위해 행동복제와 Q-value 가이드를 갖춘 확산 기반 정책을 개발한다.
  • D4RL 과제에서 기존의 정책 정규화 및 기타 오프라인 RL 방법에 비해 실험적 성능 우위를 보여 준다.

제안 방법

  • 정책을 상태에 따른 행위에 대한 조건부 확산 모델로 표현한다.
  • 오프라인 데이터 분포와 일치시키기 위해 행동복제 손실 L_d로 확산 모델을 학습한다.
  • 확산 과정에서 샘플링된 고가의 가치 있는 행동을 선호하는 Q-learning 가이드 항 L_q를 주입한다.
  • 손실들을 L = L_d + L_q로 결합하되 L_q는 데이터셋 Q-value 크기에 따라 정규화 계수 alpha로 스케일링한다.
  • 표준 더블 Q-learning과 타깃 네트워크로 Q-함수를 학습하고, 두 Q-네트워크와 확산 정책을 반복적으로 업데이트한다.
  • 확산 타임스텝 수 N을 사용해 표현력과 계산 간의 균형을 맞추고, DDPM 스타일 모델에서와 같은 beta_i 스케줄을 사용한다.

실험 결과

연구 질문

  • RQ1확산 기반 정책이 오프라인 RL에서 전통적인 가우시안 혹은 CVAE 기반 정책보다 다모드(multimodal) 행동 정책을 더 잘 포착할 수 있는가?
  • RQ2Q-learning 가이드를 확산 정책에 통합하면 행동복제만으로도 얻는 성능을 넘어서는 오프라인 RL 성능 향상을 얻을 수 있는가?
  • RQ3Diffusion-QL에서 확산 타임스텝 수 N의 크기가 표현력, 성능, 계산에 미치는 영향은 무엇인가?
  • RQ4Diffusion-QL은 Gym, AntMaze, Adroit, Kitchen 등 다양한 오프라인 RL 벤치마크에서 최첨단 baselines와 비교해 어떤 성능을 보이는가?

주요 결과

  • Diffusion-QL은 강력한 오프라인 RL 베이스라인들에 비해 다수의 D4RL 과제에서 우수한 성능을 달성한다.
  • 확산 정책은 다모드 행동 분포를 효과적으로 포착하며, 이를 정규화된 가우시안 정책이 어려워하는 부분에서 성능 차이를 만든다.
  • 행동복제와 Q-value 가이드를 결합한 정책 개선은 관찰된 데이터 영역에서 거의 최적에 가까운 행동을 가능하게 한다.
  • 더 적은 확산 단계(N)가 Q-value 가이드를 도입했을 때도 뛰어난 성능을 낼 수 있어 계산-성능의 우호적 트레이드오프를 제공한다.
  • Diffusion-QL은 보상이 희박한 도메인(AntMaze)과 인간이 얻은 Adroit/Kitchen 과제에서 눈에 띄는 이점을 보인다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.