[논문 리뷰] On Wasserstein Reinforcement Learning and the Fokker-Planck equation

Pierre H. Richemond, Brendan Maginnis|arXiv (Cornell University)|2017. 12. 19.

Fault Detection and Control Systems참고 문헌 18인용 수 13

한 줄 요약

이 논문은 강화학습에서 워셔스타인 정규화된 정책 그래เดียน트 프레임워크를 제안하며, $W_2$ 거리 기반의 소규모 정책 업데이트가 포아송(열) 방정식에 의해 지배되는 역학을 이끈다고 보여준다. 이는 최적의 정책이 고보상 행동 쪽으로 확산과 유도를 통해 도출된다는 것을 드러내며, 최적 운반 이론을 통해 가우시안 노이즈와 엔트로피 정규화와 같은 경험적 기법들을 정당화한다.

ABSTRACT

Policy gradients methods often achieve better performance when the change in policy is limited to a small Kullback-Leibler divergence. We derive policy gradients where the change in policy is limited to a small Wasserstein distance (or trust region). This is done in the discrete and continuous multi-armed bandit settings with entropy regularisation. We show that in the small steps limit with respect to the Wasserstein distance $W_2$, policy dynamics are governed by the Fokker-Planck (heat) equation, following the Jordan-Kinderlehrer-Otto result. This means that policies undergo diffusion and advection, concentrating near actions with high reward. This helps elucidate the nature of convergence in the probability matching setup, and provides justification for empirical practices such as Gaussian policy priors and additive gradient noise.

연구 동기 및 목표

• 최적 운반 이론과 엔트로피 정규화된 강화학습 간의 이론적 연결 고리를 $W_2$ 거리 기반으로 수립하기 위해.
• 연속 시간 근사에서 $W_2$ 신뢰 영역 기반 정책 그래디언트 업데이트가 포아송-플랑크 방정식의 해로 수렴함을 보여주기 위해.
• 경험적 성공 사례(예: 그래디언트 노이즈와 가우시안 사전 분포)를 정책 공간 내의 확산 및 유도 과정을 통해 설명하기 위해.
• 특히 $W_2$ 거리 기반으로 KL 발산을 초월한 신뢰 영역 방법을 일반화하여 더 스무스한 정책 업데이트를 가능하게 하기 위해.
• 무한차원 정책 공간에서 조르당-킨더레히러-오토(JKO) 프레임워크를 사용한 정책 운반의 수학적 기초를 제공하기 위해.

제안 방법

• 정책 반복을 $W_2$ 워셔스타인 거리를 메트릭으로 사용하는 확률측도 공간에서의 그래디언트 플로우로 공식화한다.
• $W_2$ 신뢰 영역 기반 정책 업데이트의 연속 시간 근사를 유도하며, 포아송-플랑크 방정식 수렴을 보여준다.
• 조르당-킨더레히러-오토(JKO) 결과를 활용하여 $W_2$ 공간 내 그래디언트 플로우를 열 방정식과 연결함으로써 정책의 확산과 유도를 모델링한다.
• 보상 기능에 엔트로피 정규화를 적용하여 통계역학과 유사한 자유 에너지 기능을 도출한다.
• 포아송-플랑크 방정식의 정적 해가 갈리아스 측도 $\pi^*(a|s) \propto e^{r(s,a)/\beta}$임을 보이며, 이는 최적 정책과 일치함을 보여준다.
• 싱크혼 알고리즘과 정규화된 최적 운반을 사용하여 $W_2$ 프록시 매핑을 근사함으로써 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정책 그래디언트에 $W_2$ 워셔스타인 거리를 신뢰 영역으로 사용할 경우 정책 최적화의 역학에 어떤 영향을 미치는가?
• RQ2 $W_2$ 정규화된 정책 그래디언트 업데이트의 연속 시간 근사에서 지배하는 편미분 방정식은 무엇인가?
• RQ3 포아송-플랑크 방정식은 어떻게 확산과 유도 과정을 통해 최적 정책이 도출되는지를 설명하는가?
• RQ4 포아송-플랑크 역학은 그래디언트에 가우시안 노이즈를 첨가하는 등의 경험적 기법과 어떤 관련이 있는가?
• RQ5 $W_2$ 기반 정책 업데이트는 신뢰 영역 정책 최적화(TRPO)나 소프트 Q-학습과 같은 알려진 엔트로피 정규화 정책 최적화 프레임워크와 어떻게 연결될 수 있는가?

주요 결과

• 연속 시간 근사에서 $W_2$ 신뢰 영역 기반 정책 업데이트는 정책의 확산과 유도를 모델링하는 포아송-플랑크 방정식의 해로 수렴한다.
• 포아송-플랑크 방정식의 정적 해는 갈리아스 측도 $\pi^*(a|s) \propto e^{r(s,a)/\beta}$이며, 이는 엔트로피 정규화된 최적 정책과 일치한다.
• 포아송-플랑크 역학은 정책이 고보상 행동 근처로 집중되는 이유를 설명하며, 확률 매칭 수렴의 메커니즘을 제공한다.
• $W_2$ 기반 그래디언트 플로우의 사용은 확률적 확산 과정을 통해 경험적 성공 사례인 그래디언트 노이즈와 가우시안 정책 사전 분포의 타당성을 정당화한다.
• $W_2$ 프록시 매핑은 최적 정책으로 수렴하는 갈리아스 측도의 수열을 이끌며, 이 동역학은 순차적 칸토로비치 잠재함수에 의해 지배된다.
• 싱크혼 알고리즘을 통한 정규화된 최적 운반은 $W_2$ 기반 정책 업데이트에 대해 수치적으로 안정적인 근사를 제공하며, 실용적 구현을 가능하게 한다.