[논문 리뷰] Policy Optimization as Wasserstein Gradient Flows

Ruiyi Zhang, Changyou Chen외 2명|arXiv (Cornell University)|2018. 08. 09.

Stochastic Gradient Optimization Techniques인용 수 26

한 줄 요약

이 논문은 강화학습에서 정책 최적화를 확률 측도 공간 위의 워샤르스타인 기울기 유동(Wasserstein gradient flows, WGF)으로 공식화하여, 입자 기반 수치 근사 방법을 통해 정책 분포의 볼록 최적화를 가능하게 한다. 이 방법은 TRPO 및 DDPG와 같은 최신 알고리즘에 비해 더 빠른 수렴 속도와 뛰어난 샘플 효율성을 보이며, 특히 도전적인 MuJoCo 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

Policy optimization is a core component of reinforcement learning (RL), and most existing RL methods directly optimize parameters of a policy based on maximizing the expected total reward, or its surrogate. Though often achieving encouraging empirical success, its underlying mathematical principle on {\em policy-distribution} optimization is unclear. We place policy optimization into the space of probability measures, and interpret it as Wasserstein gradient flows. On the probability-measure space, under specified circumstances, policy optimization becomes a convex problem in terms of distribution optimization. To make optimization feasible, we develop efficient algorithms by numerically solving the corresponding discrete gradient flows. Our technique is applicable to several RL settings, and is related to many state-of-the-art policy-optimization algorithms. Empirical results verify the effectiveness of our framework, often obtaining better performance compared to related algorithms.

연구 동기 및 목표

• 정책 최적화를 확률 측도 공간 내 기울기 유동으로 엄밀한 수학적 해석을 제공하는 것.
• 기존 정책 기반 방법에서 분포 수준 최적화 원칙이 명확하지 않은 문제를 해결하는 것.
• 워샤르스타인 기울기 유동을 해결하기 위한 수치적으로 실현 가능한 알고리즘을 개발하는 것.
• 볼록 분포 최적화를 통해 딥 강화학습에서 샘플 효율성과 수렴 속도를 향상시키는 것.
• 워샤르스타인 기하학 프레임워크 아래에서 기존 트러스트 영역 및 정책 최적화 방법을 통합 및 일반화하는 것.

제안 방법

• 논문은 정책 최적화를 에너지 기능이 누적 보상의 기대값과 일치하는 확률 측도 공간 위의 워샤르스타인 기울기 유동(WGF)으로 공식화한다.
• 간접 정책 학습(파라미터 분포 상에서)과 직접 정책 학습(정책 분포 상에서)의 두 가지 변형을 도입하며, 모두 WGF 동역학에 의해 지배된다.
• WGF 문제를 이산화하기 위해 JKO (Jordan-Kinderlehrer-Otto) 스킴을 적용하여 입자 근사를 통한 수치적 해법을 가능하게 한다.
• 워샤르스타인 거리에서 유도된 폐쇄형 기울기 공식을 사용하여 입자를 갱신함으로써 효율적이고 안정적인 최적화를 보장한다.
• 워샤르스타인 거리를 통한 트러스트 영역 유사 제약 조건을 도입하여 안정적인 정책 갱신을 촉진한다.
• 연속 밀도 함수를 근사하기 위한 입자 기반 알고리즘을 개발하여 딥 강화학습 벤치마크에서의 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강화학습에서 정책 최적화는 확률 측도 공간 내 기울기 유동으로 엄밀히 해석될 수 있는가?
• RQ2 정책 학습을 워샤르스타인 기울기 유동으로 공식화하면 볼록 최적화 문제로 이어져 수렴성과 안정성이 향상되는가?
• RQ3 입자 기반 수치 방법은 실용적인 딥 강화학습 응용을 위해 연속적인 WGF 동역학을 효과적으로 근사할 수 있는가?
• RQ4 제안된 WGF 기반 프레임워크는 TRPO 및 DDPG와 같은 최신 알고리즘에 비해 샘플 효율성과 성능 면에서 어떻게 비교되는가?
• RQ5 WGF 프레임워크는 공통 기하학적 프레임워크 아래에서 기존 트러스트 영역 및 정책 최적화 방법을 통합하거나 일반화할 수 있는가?

주요 결과

• IP-WGF는 Cartpole Swing-Up, 더블 펜듈럼, 그리고 Cartpole 작업 전반에서 SVPG보다 일관되게 더 빠른 수렴 속도와 더 높은 평균 보상을 달성한다.
• DP-WGF-V는 MuJoCo 작업에서 SAC 및 TRPO-GAE에 비해 샘플 효율성과 최종 성능 면에서 뛰어나며, 특히 도전적인 Humanoid 환경에서 뚜렷한 우위를 보인다.
• DP-WGF-V는 Hopper와 Walker에서 2~3배까지의 샘플 효율성 향상을 기록하며, 모든 MuJoCo 작업에서 DDPG 및 TRPO-GAE를 초월하는 평균 수익을 달성한다.
• 분산 감소 변형인 DP-WGF-V는 모든 작업에서 DP-WGF를 뛰어넘는 성능을 보이며, 제안된 정규화의 효과를 입증한다.
• Humanoid 환경에서는 DDPG가 좋은 정책을 학습하지 못하는 반면, DP-WGF-V는 안정적이고 높은 성능을 기록하여 고차원 제어에서의 방법의 강건성을 입증한다.
• 실증 결과는 WGF 기반 최적화가 관련 알고리즘보다 더 빠른 수렴 속도와 더 나은 최종 성능을 보이며, 이론적 프레임워크의 타당성을 확인한다.