[논문 리뷰] Policy Representation via Diffusion Probability Model for Reinforcement Learning

Long Yang, Zhixiong Huang외 7명|arXiv (Cornell University)|2023. 05. 22.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 정책을 표현하기 위해 확산 확률 모델을 사용하는 모델-프리 온라인 강화학습 알고리즘인 DIPO를 소개한다. 이는 다중모달 동작 분포를 가능하게 하며, 정책을 확률적 미분 방정식으로 이끄는 확률적 과정으로 설정하고 수렴 보장을 제공함으로써 MuJoCo 연속 제어 벤치마크에서 뛰어난 탐색과 성능을 달성한다.

ABSTRACT

Popular reinforcement learning (RL) algorithms tend to produce a unimodal policy distribution, which weakens the expressiveness of complicated policy and decays the ability of exploration. The diffusion probability model is powerful to learn complicated multimodal distributions, which has shown promising and potential applications to RL. In this paper, we formally build a theoretical foundation of policy representation via the diffusion probability model and provide practical implementations of diffusion policy for online model-free RL. Concretely, we character diffusion policy as a stochastic process, which is a new approach to representing a policy. Then we present a convergence guarantee for diffusion policy, which provides a theory to understand the multimodality of diffusion policy. Furthermore, we propose the DIPO which is an implementation for model-free online RL with DIffusion POlicy. To the best of our knowledge, DIPO is the first algorithm to solve model-free online RL problems with the diffusion model. Finally, extensive empirical results show the effectiveness and superiority of DIPO on the standard continuous control Mujoco benchmark.

연구 동기 및 목표

• 딥 강화학습에서 단일모달 정책 표현의 한계를 해결하여 탐색을 제한하고 국소 최적해를 유발하는 문제를 해결한다.
• 확산 정책을 확률적 미분 방정식을 통해 이론적으로 정식화하여 표현력 있고 다중모달 정책 학습을 가능하게 한다.
• 확산 정책의 수렴 보장을 제공하여 안정적인 학습과 다중모달 행동에 대한 이론적 이해를 보장한다.
• 모델-프리 온라인 강화학습을 위한 확산 정책을 사용하는 첫 번째 알고리즘인 DIPO를 설계하고 구현하여 연속 제어 과제에서 효율적이고 효과적인 학습을 가능하게 한다.
• 실험적으로 확산 기반 정책가 표준 방법보다 탐색 폭과 최종 성능에서 뛰어남을 입증한다.

제안 방법

• 정책을 확률적 미분 방정식(SDE)에 의해 구동되는 확률적 과정으로 모델링하여, 연속 시간 마르코프 과정으로서의 확산 정책을 표현한다.
• 수치적 해법으로 지수적 적분기법을 사용하여 SDE를 이산화함으로써 학습 중 안정적이고 미분 가능한 정책 롤아웃을 가능하게 한다.
• 기대 수익에 대한 변분 하한으로 학습 목표를 설정하고, 정방향 및 역방향 확산 과정 간의 KL 발산을 최소화한다.
• 액션 기울기 업데이트를 사용하여 확산 정책을 모델-프리 강화학습 프레임워크에 통합함으로써 온라인 상호작용과 정책 개선을 가능하게 한다.
• 돈스커-바라드한 표현을 적용하여 KL 발산의 시간 도함수를 유도함으로써 정책 기울기 신호를 통한 엔드 투 엔드 학습을 가능하게 한다.
• 신경망을 통해 역방향 확산 과정에서의 노이즈를 예측하도록 구현하여 정책이 다양한 고보상 행동을 생성할 수 있도록 한다.

(a) Ant-v3

실험 결과

연구 질문

• RQ1 확산 확률 모델은 강화학습에서 정책 표현으로서 공식적으로 어떻게 기반을 두어야 하는가?
• RQ2 확산 정책의 수렴성과 다중모달 표현력에 대해 어떤 이론적 보장이 존재하는가?
• RQ3 다이나믹스 모델이 필요 없이 확산 정책을 모델-프리 온라인 강화학습 알고리즘에 효과적으로 통합할 수 있는가?
• RQ4 복잡한 연속 제어 과제에서 확산 정책의 탐색 행동은 표준 단일모달 정책과 비교해 어떻게 다를까?
• RQ5 확산 기반 정책의 경험적 성능은 SAC, PPO, TD3와 같은 최첨단 알고리즘과 비교해 어떻게 되는가?

주요 결과

• DIPO는 모든 MuJoCo 연속 제어 벤치마크에서 최고 성능을 기록하였으며, 최종 수익과 샘플 효율성에서 PPO, SAC, TD3를 모두 능가한다.
• 학습 중 DIPO는 더 넓고 효과적인 상태 방문 행동을 보이며, 이는 더 나은 초반 및 최종 성능과 상관관계가 있어 뛰어난 탐색 능력을 시사한다.
• 알고리즘은 넓은 탐색에서 집중적 이용으로 자연스럽게 전이되는 경향을 보이며, 최적의 강화학습 행동과 일치한다. 반면 PPO는 역설적인 탐색 패tern을 보인다.
• 절단 실험 결과, 확산 모델을 VAE나 MLP로 대체할 경우 성능이 크게 하락함을 확인하여, 정책 표현에 있어 확산 모델의 우수성을 입증한다.
• MLP에 액션 기울기 기반 학습을 적용한 결과 놀랍게도 SAC나 DIPO와 유사한 성능을 기록함으로써, 단순하면서도 효과적인 강화학습 아키텍처의 잠재력을 시사한다.
• 이론적 분석을 통해 확산 정책가 온화한 조건 하에서 수렴함을 확인하여, 강화학습에서의 적용에 대한 엄밀한 기반을 제공한다.

(b) HalfCheetah-v3