[논문 리뷰] Trust Region-Guided Proximal Policy Optimization

Yuhui Wang, Hao He외 2명|arXiv (Cornell University)|2019. 01. 29.

Reinforcement Learning in Robotics참고 문헌 2인용 수 26

한 줄 요약

이 논문은 신뢰 영역 기반 기준을 사용해 신뢰 영역 내에서 클리핑 범위를 적응적으로 조정하는 Trust Region-Guided Proximal Policy Optimization (TRGPPO)를 제안한다. 덜 선호되는 행동에 대한 제약를 완화함으로써 TRGPPO는 탐색 능력과 샘플 효율성을 향상시키며, 표준 PPO보다 더 나은 성능 한계와 높은 정책 엔트로피를 달성한다. 계산 오버헤드는 최소화되었고, 벤치마크 작업 전반에서 강력한 실험적 성과를 보였다.

ABSTRACT

Proximal policy optimization (PPO) is one of the most popular deep reinforcement learning (RL) methods, achieving state-of-the-art performance across a wide range of challenging tasks. However, as a model-free RL method, the success of PPO relies heavily on the effectiveness of its exploratory policy search. In this paper, we give an in-depth analysis on the exploration behavior of PPO, and show that PPO is prone to suffer from the risk of lack of exploration especially under the case of bad initialization, which may lead to the failure of training or being trapped in bad local optima. To address these issues, we proposed a novel policy optimization method, named Trust Region-Guided PPO (TRGPPO), which adaptively adjusts the clipping range within the trust region. We formally show that this method not only improves the exploration ability within the trust region but enjoys a better performance bound compared to the original PPO as well. Extensive experiments verify the advantage of the proposed method.

연구 동기 및 목표

• 기본 PPO의 제한된 탐색 능력, 특히 나쁜 초기화 조건에서의 문제를 해결하기 위해, 이는 나쁜 국소 최적점에 갇히거나 학습 실패로 이어질 수 있다.
• PPO의 비율 기반 정책 제약이 탐색 행동에 미치는 영향을 공식적으로 분석하여, 시간이 지남에 따라 불가능한 행동을 억제하는 경향을 드러내기 위해.
• 학습 안정성을 유지하면서도, 신뢰 영역 기반 적응 클리핑을 통해 탐색 능력을 향상시키는 새로운 PPO 변종을 개발하기 위해.
• 기존 PPO에 비해 샘플 효율성과 성능 한계를 향상시키되, 계산 비용을 증가시키지 않기 위해.
• 기존의 온정책 RL 탐색 향상 기법들에 비해 이론적으로 탄탄하고 해석 가능하며 유연한 대안을 제공하기 위해.

제안 방법

• TRGPPO는 고정된 하이퍼파rameter 대신, 신뢰 영역 기준에 기반해 클리핑 범위를 동적으로 조정하는 신뢰 영역 가이드드 적응 클리핑 메커니즘을 도입한다.
• PPO의 비율 기반 지표와 신뢰 영역 기반 산란 지표 간의 연결을 구축하여, 더 민첩한 제약 강제 조건을 가능하게 한다.
• 현재 정책이 덜 선호하는 행동에 대해 제약를 완화함으로써, 이전 선호도와는 관계없이 잠재적으로 유용한 행동을 탐색하도록 유도한다.
• 클리핑 범위는 학습 안정성을 유지하고 성능 저하를 방지하기 위해 신뢰 영역 내에 유지된다.
• ε = 0.2로 표준 PPO와 동일하게 설정된 신뢰 영역 계수 δ를 ε에 기반해 적응적으로 설정하는 전략을 사용한다.
• TRGPPO는 OpenAI Baselines를 통해 PPO와 동일한 구현 및 하이퍼파rameter를 유지하며, 클리핑 메커니즘을 제외하고는 동일하다. 이는 공정한 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 PPO의 비율 기반 정책 제약는 나쁜 초기화 조건에서 탐색 행동에 어떻게 영향을 미치는가?
• RQ2 신뢰 영역 기반 적응 클리핑 메커니즘은 학습 안정성을 희생시키지 않고 탐색 능력을 향상시킬 수 있는가?
• RQ3 제안된 방법은 표준 PPO에 비해 더 나은 성능 한계와 샘플 효율성을 달성하는가?
• RQ4 TRGPPO의 적응 클리핑 범위는 고정 또는 히우리스틱 클리핑 범위와 비교해 정책 엔트로피와 학습 동역학 측면에서 어떻게 다른가?
• RQ5 TRGPPO는 계산 비용 효율성과 온정책 성격을 유지하면서도, 최신의 오프정책 방법인 SAC를 능가할 수 있는가?

주요 결과

• TRGPPO는 다섯 개 환경 중 네 개에서 표준 PPO 대비 성능 기준에 도달하는 데 필요한 타임스텝 수를 약 40% 감소시켰으며, Ant와 Walker2d에서 가장 큰 향상을 보였다.
• большин의 작업에서 마지막 40% 학습 에피소드 동안 TRGPPO는 PPO보다 유의미하게 높은 평균 수익을 달성했으며, Reacher를 제외한 모든 작업에서 승리했다.
• TRGPPO의 정책 엔트로피는 학습 전반에 걸쳐 PPO보다 뚜렷이 높게 유지되어, 지속적인 탐색 행동이 이루어졌음을 시사한다.
• TRGPPO의 적응 클리핑 상한은 PPO의 고정 클리핑 범위보다 훨씬 크지만, KL 발산은 유사하게 유지되어 탐색과 안정성 간 효과적인 균형을 이룬다.
• TRGPPO는 온정책 알고리즘임에도 불구하고, 동일한 하이퍼파rameter를 사용함에도 불구하고 여섯 개 작업 중 여섯 개에서 SAC와 경쟁 가능한 성능을 달성했으며, 벽시계 시간으로 25분이 소요된 데 반해, SAC는 182분이 소요되었다.
• TRGPPO는 PPO에 비해 계산 비용이 유의미하게 증가하지 않았으며, 100만 타임스텝 동안 학습 시간이 PPO의 24분 대비 TRGPPO는 25분으로 거의 동일했다.