[논문 리뷰] Revisiting Design Choices in Proximal Policy Optimization

Chloe Hsu, Celestine Mendler-Dünner외 1명|arXiv (Cornell University)|2020. 09. 23.

Reinforcement Learning in Robotics참고 문헌 26인용 수 13

한 줄 요약

이 논문은 Proximal Policy Optimization (PPO)의 핵심 설계 선택 사항을 재검토하며, 클리핑된 목적함수와 가우시안/소프트맥스 정책을 사용하는 표준 구현에서 발생하는 세 가지 실패 모드를 규명한다. 연속 행동에 대한 베타 분포 파rameterization과 KL-정규화된 목적함수를 제안하여 안정성을 향상시키며, Humanoid-v2에서 누적 보상이 2배 높고, 분포 외부 설정에서 더 나은 수렴성을 보인다.

ABSTRACT

Proximal Policy Optimization (PPO) is a popular deep policy gradient algorithm. In standard implementations, PPO regularizes policy updates with clipped probability ratios, and parameterizes policies with either continuous Gaussian distributions or discrete Softmax distributions. These design choices are widely accepted, and motivated by empirical performance comparisons on MuJoCo and Atari benchmarks. We revisit these practices outside the regime of current benchmarks, and expose three failure modes of standard PPO. We explain why standard design choices are problematic in these cases, and show that alternative choices of surrogate objectives and policy parameterizations can prevent the failure modes. We hope that our work serves as a reminder that many algorithmic design choices in reinforcement learning are tied to specific simulation environments. We should not implicitly accept these choices as a standard part of a more general algorithm.

연구 동기 및 목표

• 표준 MuJoCo 및 Atari 벤치마크에서 드러나지 않는, 분포 외부 환경에서 실패하는 널리 채택된 PPO 설계 선택 사항—클리핑된 대체 목적함수와 가우시안/소프트맥스 정책 파arameterization—이 실패하는 이유를 탐구하기 위해.
• 표준 MuJoCo 및 Atari 벤치마크에서 드러나지 않는 연속 및 이산 행동 공간에서의 특정 실패 모드를 진단하기 위해.
• 더 나은 수렴성과 안정성을 위해, KL-정규화된 목적함수와 베타 정책 파arameterization을 포함한 대안적 설계 선택 사항을 평가하기 위해.
• 현재 PPO 구현이 일반 목적 솔루션을 대변한다고 보는 가정을 도전하며, 강화학습에서 맥락 인식 기반 알고리즘 설계를 주장하기 위해.

제안 방법

• PPO의 실패 모드를 고립시키기 위해 합성 테스트 환경을 설계: 유한한 지지 범위 외부에서 보상이 사라지는 경우, 국소 최적점 근처에서 초기화에 민감한 경우, 희소 보상 이산 설정에서 최적 수렴이 이루어지지 않는 경우.
• 표준 클리핑된 대체 목적함수를 KL-정규화된 목적함수로 대체하여 신뢰 영역 제약 조건을 더 체계적으로 구현하고, 특정 설정에서 이론적 수렴 보장을 가능하게 한다.
• 연속 행동 공간에서 정책 파arameterization으로 베타 분포를 사용하여, 유한한 지지 범위와 α=β=1을 통한 균일한 초기화 능력을 활용한다.
• 베타 분포의 파arameter(α, β)에 소프트플러스 파arameterization을 적용하여 기울기 기반 최적화와 안정적인 학습을 가능하게 한다.
• 표준 PPO(클리핑, 가우시안)와 비교하여, 합성 작업과 표준 MuJoCo 벤치마크에서 베타 정책과 KL-정규화된 목적함수를 사용한 PPO의 성능을 평가한다.
• 보상 정규화 및 이득 정규화와 같은 추가적인 구현 선택 사항의 영향을 분석하며, 복잡한 방법 없이도 일정한 스케일링만으로도 성능 손실 없이 대체 가능함을 보여준다.

실험 결과

연구 질문

• RQ1 클리핑된 목적함수와 가우시안 정책을 사용하는 표준 PPO가 행동 공간 경계 외부에서 보상이 사라질 경우 연속 행동 공간에서 수렴하지 못하는 이유는 무엇인가?
• RQ2 희소 보상과 높은 보상 피크가 존재하는 이산 행동 공간에서 정책 초기화가 수렴에 어떤 영향을 미치며, 이는 대체 파arameterization을 통해 완화될 수 있는가?
• RQ3 KL-정규화된 대체 목적함수는 표준 벤치마크를 초월한 환경에서 수렴 안정성과 안정성 측면에서 클리핑 목적함수를 능가하는가?
• RQ4 베타 정책 파arameterization은 연속 제어 작업에서 꼬리 기울기와 경계 효과와 관련된 실패 모드를 제거할 수 있는가?
• RQ5 보상 정규화 및 이득 정규화와 같은 일반적인 구현 선택 사항이 다양한 환경에서 PPO 성능에 얼마나 영향을 미치는가?

주요 결과

• 클리핑된 목적함수와 가우시안 정책을 사용하는 표준 PPO는 행동 공간 경계 외부에서 보상이 사라질 경우, 꼬리 행동에서 발생하는 큰 기울기 업데이트로 인해 연속 제어 작업에서 수렴하지 못한다.
• 베타 정책 파arameterization을 사용한 PPO는 MuJoCo의 Humanoid-v2 환경에서 가우시안 정책보다 누적 수익이 2배 높게 기록되어 뚜렷한 성능 향상을 보였다.
• KL-정규화된 PPO는 합성 실패 모드 설정 중 하나에서 수렴 보장을 제공하는 반면, 클리핑 목적함수에서는 그렇지 않아, 근본적인 안정성 우월성을 보였다.
• 베타 정책는 α=β=1을 통해 약간의 균일한 초기화를 가능하게 하여, 다중 피크 보상 지형에서 열악한 초기화로 인한 열악한 수렴을 제거한다.
• 클리핑의 이점은 가우시안 정책을 사용하는 MuJoCo 벤치마크의 특정 영역에 국한되어 있으며, 베타 정책에서는 KL-정규화된 PPO가 대부분의 작업에서 동일하거나 더 나은 성능을 보였다.
• 일정한 보상 스케일링은 복잡한 적응적 방법과 동일한 성능을 보이며, 이득 정규화는 일부 작업에선 도움이 되지만 다른 작업에선 해를 끼칠 수 있어, 거울 강하 단계 크기를 효과적으로 안내한다.