[논문 리뷰] Diffusion Models for Reinforcement Learning: A Survey

Zhengbang Zhu, Hanye Zhao외 6명|arXiv (Cornell University)|2023. 11. 02.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

확산 모델이 강화학습에 적용되는 포괄적 설문조사로, 도전과제, 방법론, 역할(계획자, 정책, 데이터 합성기), 및 응용을 다룬다.

ABSTRACT

Diffusion models surpass previous generative models in sample quality and training stability. Recent works have shown the advantages of diffusion models in improving reinforcement learning (RL) solutions. This survey aims to provide an overview of this emerging field and hopes to inspire new avenues of research. First, we examine several challenges encountered by RL algorithms. Then, we present a taxonomy of existing methods based on the roles of diffusion models in RL and explore how the preceding challenges are addressed. We further outline successful applications of diffusion models in various RL-related tasks. Finally, we conclude the survey and offer insights into future research directions. We are actively maintaining a GitHub repository for papers and other related resources in utilizing diffusion models in RL: https://github.com/apexrl/Diff4RLSurvey.

연구 동기 및 목표

• 강화학습에서 확산모델이 해결할 수 있는 도전과제 식별.
• 강화학습에서 확산모델의 역할에 대한 분류 체계와 그것이 이러한 도전과제를 어떻게 다루는지.
• RL과 관련된 기초 확산모델 기법 요약.
• 오프라인 RL, 온라인 RL, 모방학습, 데이터 증강에서의 응용 개요.
• 확산-RL 연구의 미래 방향과 자원 강조.

제안 방법

• DDPM 및 점수 기반 모델을 포함한 확산 모델 기초 설명.
• RL 설정에 적용 가능한 가이드드 및 빠른 샘플링 기법 설명.
• 대표 논문과 함께 RL에서 확산모델 역할을 계획자, 정책 또는 데이터 합성기로 분류.
• 오프라인, 다중작업, 다중에이전트 설정을 포함하여 RL의 도전과제 및 작업에 확산모델 접근법 매핑.
• 조건화, 가이드, 데이터 증강 등 응용 및 실용적 고려사항 요약.

실험 결과

연구 질문

• RQ1 확산모델은 RL 워크플로우에서 어떤 역할을 하며 일반적인 RL 도전과제를 어떻게 다루는가?
• RQ2 확산모델을 어떻게 학습하고 안내하여 RL에서 계획자, 정책 또는 데이터 합성기로 작동하게 할 수 있는가?
• RQ3 확산모델이 이점을 제공하는 주요 온라인 및 오프라인 RL 응용은?
• RQ4 RL용 확산모델의 미해결 연구 방향 및 방법론적 격차는 무엇인가?

주요 결과

• 확산모델은 표현력이 풍부하고 다중 모드의 정책 표현을 제공하여 오프라인 RL의 표현력 문제를 완화할 수 있다.
• 시퀀스의 결합 분포를 모델링하여 궤적 수준의 계획을 가능하게 하고 모델 기반 RL의 누적 오차를 줄인다.
• 가이드된 및 분류기-없는 가이던스 방법은 RL 작업에서 원하는 속성이나 Q-값에 확산모델을 조건화하는 것을 가능하게 한다.
• 확산 기반 데이터 합성은 일관되고 환경과 일치하는 궤적으로 오프라인 데이터세트를 보강할 수 있다.
• 빠른 샘플링 기술과 계층적 또는 잠재공간 확산 변형은 RL 작업의 실용적 배치를 향상시킨다.
• 이 조사는 다중작업 및 다중 에이전트 확산 RL의 지속적 진전을 조명하며, 주목할 만한 방법들과 커뮤니티 공유를 위한 GitHub 자원을 제시한다.