[논문 리뷰] PPO-CMA: Proximal Policy Optimization with Covariance Matrix Adaptation

Perttu Hämäläinen, Amin Babadi외 2명|arXiv (Cornell University)|2018. 10. 05.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 CMA-ES에 영감을 받은 공분산 행렬 적응을 사용해 탐색 분산을 동적으로 조정하는 새로운 Proximal Policy Optimization 변종인 PPO-CMA를 제안한다. 진화 경로와 랭크-μ 히우리스틱을 통합함으로써 PPO-CMA는 연속 제어 과제에서 수렴 속도를 가속화하고 하이퍼파rameter에 대한 민감도를 감소시키며, 광범위한 튜닝 없이도 Roboschool 및 MuJoCo 벤치마크에서 표준 PPO를 능가한다.

ABSTRACT

Proximal Policy Optimization (PPO) is a highly popular model-free reinforcement learning (RL) approach. However, we observe that in a continuous action space, PPO can prematurely shrink the exploration variance, which leads to slow progress and may make the algorithm prone to getting stuck in local optima. Drawing inspiration from CMA-ES, a black-box evolutionary optimization method designed for robustness in similar situations, we propose PPO-CMA, a proximal policy optimization approach that adaptively expands the exploration variance to speed up progress. With only minor changes to PPO, our algorithm considerably improves performance in Roboschool continuous control benchmarks. Our results also show that PPO-CMA, as opposed to PPO, is significantly less sensitive to the choice of hyperparameters, allowing one to use it in complex movement optimization tasks without requiring tedious tuning.

연구 동기 및 목표

• 연속 제어 과제에서 탐색 분산의 조기 수축 문제를 해결함으로써 수렴 속도 저하와 局부 최적해 위험 증가를 줄이기 위해.
• 복잡한 운동 제어 과제를 위한 모델-프리 강화학습에서 샘플 효율성과 수렴 속도를 향상시키기 위해.
• 클리핑 파rameter ϵ과 엔트로피 가중치에 대한 하이퍼파rameter 민감도를 감소시켜 보다 넓은 사용 가능성을 확보하기 위해.
• 최소한의 아키텍처 변경으로도 온-폴리시 PPO에 CMA-ES에 영감을 받은 분산 적응을 통합하기 위해.
• 간단하고 복잡한 연속 제어 환경에서의 성능 향상과 강건성을 검증하기 위해.

제안 방법

• 정책 분산을 위한 별도의 신경망 헤드를 도입하여 정책 네트워크에서 평균과 분산 학습을 분리한다.
• CMA-ES의 랭크-μ 업데이트 규칙과 진화 경로 히우리스틱을 변형하여 온-폴리시 및 오프-폴리시 경험을 모두 활용해 정책 분산을 업데이트한다.
• 과거 정책 업데이트를 저장하는 크기 H의 히스토리 버퍼를 사용하여, 오프-폴리시 데이터를 활용하면서도 온-폴리시 평균 업데이트를 유지한다.
• 이점 반전: 부정적인 이점을 양성으로 변환하여 성능이 열 劣할 경우 분산 확장을 유도한다.
• 안정적인 이점 추정을 위해 일반화된 이점 추정(GAE)을 사용하며, 정책 평균 업데이트에만 클리핑된 서로서티브 손실을 적용한다.
• PPO의 온-폴리시 데이터 수집 및 반복당 다중 기울기 스텝을 유지하지만, 표준 분산 업데이트 대신 CMA-ES에 영감을 받은 적응 메커니즘으로 교체한다.

실험 결과

연구 질문

• RQ1 PPO에서 탐색 분산의 조기 수축이 연속 제어 과제에서 수렴을 저해하는가?
• RQ2 CMA-ES에 영감을 받은 분산 적응은 PPO의 학습 속도와 최종 성능을 향상시킬 수 있는가?
• RQ3 표준 PPO에 비해 PPO-CMA는 ϵ과 엔트로피 가중치와 같은 하이퍼파ram터 선택에 덜 민감한가?
• RQ4 간단한 과제에서 튜닝한 하이퍼파ram터가 MuJoCo Humanoid와 같은 복잡한 환경으로 일반화되는가?
• RQ5 PPO-CMA의 개별 구성 요소들(예: 반전, 진화 경로, 랭크-μ)이 성능 향상에 독립적으로 기여하는가?

주요 결과

• PPO-CMA는 9개의 Roboschool 환경에서 표준 PPO를 뚜렷이 능가하며, 더 적은 하이퍼파라미터 튜닝으로 높은 정규화된 점수를 달성한다.
• PPO-CMA는 하이퍼파라미터 민감도가 감소함: 시뮬레이션 예산 N과 히스토리 버퍼 크기 H의 넓은 범위에서 성능이 안정적으로 유지되며, PPO는 ϵ과 N 간의 정교한 트레이드오���이 필요로 한다.
• MuJoCo Humanoid-v2 환경에서 PPO-CMA는 더 높은 시뮬레이션 예산 N을 사용할수록 뛰어난 성능을 보이며, 복잡한 과제에 대한 확장성을 입증한다.
• 제거 실험 결과, 모든 구성 요소—이점 반전, 진화 경로, 랭크-μ 업데이트—가 성능 향상에 기여하며, 전체 PPO-CMA 모델은 1.0(기준), 제거된 버전은 오직 0.57의 점수를 기록한다.
• PPO-CMA는 거의 하이퍼파라미터 없는 행동을 달성한다: 네트워크 아키텍처가 설정된 후에는 더 어려운 과제를 위해 오직 N만 증가시키면 되며, 광범위한 튜닝이 필요로 하지 않는다.
• 진전이 정체될 경우에 동적으로 분산을 확장함으로써 알고리즘이 조기 수렴을 성공적으로 피함으로써, 블랙박스 최적화에서 CMA-ES의 행동을 모방한다.