[논문 리뷰] Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO

Logan Engstrom, Andrew Ilyas외 5명|arXiv (Cornell University)|2020. 05. 25.

Reinforcement Learning in Robotics참고 문헌 16인용 수 137

한 줄 요약

이 논문은 PPO의 코드 수준 최적화가 클리핑 메커니즘뿐 아니라 TRPO 대비 성능의 상당 부분을 좌우하고 정책 그래디언트 방법에서 신뢰 영역의 작동 방식에 근본적인 변화를 가져올 수 있음을 보여주는 심층적인 어블레이션 연구를 수행한다.

ABSTRACT

We study the roots of algorithmic progress in deep policy gradient algorithms through a case study on two popular algorithms: Proximal Policy Optimization (PPO) and Trust Region Policy Optimization (TRPO). Specifically, we investigate the consequences of "code-level optimizations:" algorithm augmentations found only in implementations or described as auxiliary details to the core algorithm. Seemingly of secondary importance, such optimizations turn out to have a major impact on agent behavior. Our results show that they (a) are responsible for most of PPO's gain in cumulative reward over TRPO, and (b) fundamentally change how RL methods function. These insights show the difficulty and importance of attributing performance gains in deep reinforcement learning. Code for reproducing our results is available at https://github.com/MadryLab/implementation-matters .

연구 동기 및 목표

• 심층 정책 그래디언트 방법의 개별 구성 요소가 에이전트 학습 및 성능에 어떤 영향을 미치는지 평가한다.
• PPO에서 TRPO 대비 성능 향상을 가져오는 코드 수준 최적화가 무엇인지 식별한다.
• 각 구성 요소가 최종 보상 및 학습 역학에 미치는 영향을 이해함으로써 모듈식 설계를 촉진한다.

제안 방법

• 코드 수준 최적화가 있는 경우와 없는 경우의 TRPO 및 PPO 구현을 어블레이션 연구를 통해 비교한다.
• PPO-M(코드 수준 최적화 없는 PPO) 및 TRPO+(TRPO와 유사한 최적화를 가진 TRPO)를 도입해 효과를 고립한다.
• MuJoCo 과제들(Walker2d-v2, Hopper-v2, Humanoid-v2 등)에서 다수의 난수 시드 및 하이퍼파라미터 그리드로 평가한다.
• 최종 보상, 단계별 지표, 신뢰 영역 지표(KL 발산 및 비율 제약)를 측정한다.
• AAI 및 ACLI 지표를 정의해 알고리즘 선택 대비 코드 수준 최적화의 상대적 영향을 정량화한다.

실험 결과

연구 질문

• RQ1 코드 수준 최적화가 TRPO와 비교해 최종 성능에 어떤 영향을 주는가?
• RQ2 클리핑 메커니즘을 넘어 PPO의 신뢰 영역 동작을 코드 수준 최적화가 바꾸는가?
• RQ3 작업 전반에 걸쳐 알고리즘 선택의 핵심 요소 대비 코드 수준 최적화의 상대적 기여도는 어느 정도인가?

주요 결과

• 코드 수준 최적화가 TRPO 대비 PPO의 성능 향상의 상당 부분을 차지한다.
• PPO와 PPO-M은 주로 최적화가 신뢰 영역을 형성하는 방식에서 차이가 나며, 단지 클리핑 메커니즘의 차이만은 아니다.
• 코드 수준 최적화가 하이퍼파라미터 전반에 걸친 보상 지형에 큰 영향을 미치며 때로는 PPO와 TRPO 간의 차이를 바꾼다.
• PPO-NoClip은 충분한 코드 수준 최적화와 함께라면 PPO 성능에 맞먹을 수 있어 클리핑이 항상 필수는 아님을 시사한다.
• TRPO+ 및 PPO-M은 최적화가 대부분의 작업에서 핵심 알고리즘 선택보다 큰 영향을 미칠 수 있음을 보여준다.