[논문 리뷰] Policy Optimization With Penalized Point Probability Distance: An Alternative To Proximal Policy Optimization

Xiangxiang Chu|arXiv (Cornell University)|2018. 07. 02.

Machine Learning and ELM참고 문헌 21인용 수 7

한 줄 요약

이 논문은 PPO의 클리핑된 서rogate 목적함수를 보상된 점 확률 거리로 대체하는 새로운 정책 최적화 알고리즘 POP3D를 제안한다. 보상된 점 확률 거리는 두 정책 분포 간의 총 분산 분리 제곱의 대칭 하한이다. POP3D는 학습을 안정화시키고 탐색을 향상시키며, 49개의 Atari 게임에서 최신 기술 수준 성능을 달성한다. 이는 학습 속도와 구현 용이성은 유지하면서도 최종 점수에서 PPO를 능가한다.

ABSTRACT

As the most successful variant and improvement for Trust Region Policy Optimization (TRPO), proximal policy optimization (PPO) has been widely applied across various domains with several advantages: efficient data utilization, easy implementation, and good parallelism. In this paper, a first-order gradient reinforcement learning algorithm called Policy Optimization with Penalized Point Probability Distance (POP3D), which is a lower bound to the square of total variance divergence is proposed as another powerful variant. Firstly, we talk about the shortcomings of several commonly used algorithms, by which our method is partly motivated. Secondly, we address to overcome these shortcomings by applying POP3D. Thirdly, we dive into its mechanism from the perspective of solution manifold. Finally, we make quantitative comparisons among several state-of-the-art algorithms based on common benchmarks. Simulation results show that POP3D is highly competitive compared with PPO. Besides, our code is released in https://github.com/paperwithcode/pop3d.

연구 동기 및 목표

• PPO의 클리핑된 서rogate 목적함수의 한계, 특히 하이퍼파라미터 조정에 대한 민감성과 비최적의 탐색을 해결하기 위해.
• TRPO 변형에서 고정된 페널티 계수 선택의 과제를 해결하여 다양한 환경 간 일반화를 향상시키기 위해.
• 진정한 정책 분포 간 분리도를 더 잘 근사하는 대칭적이고 하한인 서rogate 목적함수를 개발하기 위해.
• 새로운 페널티 항을 통해 정책 갱신을 안정화하고 탐색을 장려함으로써 학습 안정성 향상과 샘플 효율성 향상을 도모하기 위해.
• 이산(Atari) 및 연속 제어(MuJoCo) 환경에서 PPO와의 경쟁 성능을 입증하기 위해.

제안 방법

• 두 정책 분포 간의 총 분산 분리 제곱의 대칭 하한인 보상된 점 확률 거리 기반의 새로운 서rogate 목적함수를 제안한다.
• 정규화 역할을 하는 페널티 항을 도입하여, 고정된 페널티 계수를 필요로 하지 않고도 정책 갱신을 안정화하고 탐색을 촉진한다.
• 일阶 미분 기반 최적화 방법을 사용해 제약 조건이 없는 문제로 재구성함으로써 효율적이고 확장 가능한 학습을 가능하게 한다.
• PPO 및 TRPO와 동일하게 일반화된 이득 추정(GAE)을 사용해 가치 함수 근사치를 정확히 추정한다.
• 새로운 목적함수를 정책 그래เดียน트 프레임워크에 적용하여 기대 수익에 대한 확률적 그래디언트 상승을 통해 정책 파라미터를 갱신한다.
• PPO의 실용적 이점인 간편한 구현, 빠른 수렴, 양호한 병렬 처리 성능를 유지하면서도 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 PPO의 클리핑 목적함수와 비교해 볼 때, 대칭적이고 하한인 서rogate 목적함수는 정책 최적화의 안정성과 성능 향상에 기여하는가?
• RQ2 보상된 점 확률 거리는 수동적인 페널티 계수 조정 없이도 학습을 안정화시키고 탐색을 촉진하는 데 효과적인가?
• RQ3 Atari 및 MuJoCo 벤치마크에서 POP3D는 PPO 및 TRPO와 비교해 최종 성능와 샘플 효율성 측면에서 어떻게 성과를 내는가?
• RQ4 TRPO 및 PPO를 초월하는 POP3D의 근본적 메커니즘, 특히 해법 다양체의 구조 측면에서 무엇이 이루어지는가?
• RQ5 고정된 하이퍼파라미터 설정을 통해 POP3D는 다양한 환경에서 Atari 게임에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 7개의 MuJoCo 환경 중 5개에서 $Score_{100}$ 측면에서 PPO를 능가하며, 최종 점수에서 명확한 격차를 확보한다.
• 49개의 Atari 게임에서 POP3D는 4000만 프레임 이후 최신 기술 수준의 성능을 달성하며, $Score_{100}$ 기준 5게임의 우위를 확보한다.
• MuJoCo 환경에서 POP3D는 PPO의 빠른 학습 속도와 샘플 효율성과 경쟁 가능한 성능을 기록한다.
• TRPO 변형과 비교해 페널티 계수 선택에 대한 민감도가 감소하여, 환경별 맞춤 조정이 필요 없어졌다.
• 정량적 결과는 POP3D가 PPO에서 사용하는 고정된 KLD 기반 베이스라인을 일관되게 능가함을 보여주며, 새로운 페널티 항의 우수성을 입증한다.
• 해법 다양체 분석 결과, POP3D의 목적함수는 최적 정책 다양체를 암묵적으로 확장하며, PPO의 성공 메커니즘과 유사하지만 안정성이 향상된 것으로 나타났다.