[논문 리뷰] You May Not Need Ratio Clipping in PPO

Mingfei Sun, Vitaly Kurin외 5명|arXiv (Cornell University)|2022. 01. 31.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 이른 정지 기반의 비율 이탈도 측정법을 도입한 새로운 PPO 변종인 초기 정지 정책 최적화(ESPO)를 제안한다. 이는 비율 클리핑 대신 이론적으로 탄탄한 비율 이탈도 지표를 기반으로 한 이른 정지를 도입하여, 다수의 에포크 동안 원래의 서면 목표 함수를 직접 최적화한다. 단순한 정지 조건을 통해 정책 안정성을 유지하며, 연속 제어 벤치마크에서 표준 PPO보다 유의미하게 뛰어난 성능을 보이며, 분산 학습 환경에서도 잘 작동한다.

ABSTRACT

Proximal Policy Optimization (PPO) methods learn a policy by iteratively performing multiple mini-batch optimization epochs of a surrogate objective with one set of sampled data. Ratio clipping PPO is a popular variant that clips the probability ratios between the target policy and the policy used to collect samples. Ratio clipping yields a pessimistic estimate of the original surrogate objective, and has been shown to be crucial for strong performance. We show in this paper that such ratio clipping may not be a good option as it can fail to effectively bound the ratios. Instead, one can directly optimize the original surrogate objective for multiple epochs; the key is to find a proper condition to early stop the optimization epoch in each iteration. Our theoretical analysis sheds light on how to determine when to stop the optimization epoch, and call the resulting algorithm Early Stopping Policy Optimization (ESPO). We compare ESPO with PPO across many continuous control tasks and show that ESPO significantly outperforms PPO. Furthermore, we show that ESPO can be easily scaled up to distributed training with many workers, delivering strong performance as well.

연구 동기 및 목표

• PPO에서 비율 클리핑이 안정적이고 효과적인 정책 최적화를 위해 필수적인가를 조사하는 것.
• 비율 클리핑의 한계, 예를 들어 비효율적인 비율 경계 설정과 신뢰 영역 제약 위반 가능성을 규명하는 것.
• 클리핑 없이 원래의 서면 목표 함수를 직접 최적화하는 방법을 개발하고, 정책 안정성을 유지하기 위해 이른 정지를 활용하는 것.
• 비율 이탈도를 기반으로 한 이론적으로 타당한 정지 기준을 제공하여 단조적 향상 보장을 하는 것.
• 제안된 방법의 확장성과 성능을 단일 및 다중 워커 분산 학습 환경에서 평가하는 것.

제안 방법

• 이 방법은 비율 클리핑 없이 다수의 미니배치 에포크 동안 보수적 정책 반복(CPI) 서면 목표 함수를 직접 최적화하는 초기 정지 정책 최적화(ESPO)를 제안한다.
• 이론적 단조적 향상 보장에서 유도된 새로운 비율 이탈도 지표를 정지 기준으로 도입한다.
• 비율 이탈도는 각 상태-행동 샘플별로 계산되며, 최적화 에포크를 언제 종료할지 결정하는 데 사용되어 과도한 정책 업데이트를 방지한다.
• 정지 임계값은 하이퍼파라미터로, 하한 경계의 날카기 정도와 샘플 효율성 간의 균형을 맞추며, 경험적 검증을 통해 0.25에서 강건함을 입증했다.
• 이 방법은 다수의 액터가 데이터를 수집하고 러닝러가 병렬로 정책을 업데이트하며 워커 간 기울기를 평균화하는 분산 학습 환경과도 호환된다.
• 이론적 분석을 통해 비율 이탈도는 KL 발산이나 비율 클리핑보다 정책 분산에 대해 더 날카운 경계를 제공함을 보여주었다.

실험 결과

연구 질문

• RQ1 PPO에서 비율 클리핑이 정책 업데이트 비율을 효과적으로 경계하는가, 아니면 클리핑에도 불구하고 비율이 여전히 무한대가 될 수 있는가?
• RQ2 적절한 이른 정지 조건과 결합할 경우, 원래의 서면 목표 함수를 직접 최적화하는 것이 비율 클리핑 PPO를 능가할 수 있는가?
• RQ3 비율 이탈도 지표는 KL 발산과 비교해 정책 분산을 더 효과적으로 경계하고 단조적 향상을 보장하는가?
• RQ4 ESPO는 많은 워커를 포함한 분산 학습 환경에서도 PPO 성능을 유지하거나 초월할 수 있는가?
• RQ5 ESPO의 성능 향상 요인이 정지 기준 때문인지, 아니면 다른 구현 수준의 최적화 때문인가?

주요 결과

• ESPO는 Ant, Humanoid, Walker2d를 포함한 여러 연속 제어 벤치마크에서 단일 및 다중 워커 환경 모두에서 표준 PPO보다 유의미하게 뛰어난 성능을 보였다.
• 정지 임계값 0.25를 사용한 ESPO는 KL 기반 및 비율 클리핑 기반 기준보다 일관되게 강건하고 뛰어난 성능을 보였다.
• 단일 워커 환경에서도 ESPO는 Humanoid 및 HumanoidStandup에서 분산 PPO(DPPO)를 능가했으며, Ant에서는 유사한 성능를 보였다.
• 10명의 워커를 사용한 분산 ESPO는 분산 PPO와 동등하거나 더 뛰어난 성능을 기록하여 강력한 확장성과 샘플 효율성을 입증했다.
• 비율 이탈도 지표는 KL 발산보다 정책 분산에 대해 더 날카운 경계를 제공했으며, RD.25를 사용한 ESPO는 KL.05보다 더 균일하게 분산된 정책 업데이트를 보였다. 이는 더 효과적인 최적화를 의미한다.
• 경험적 결과는 비율 클리핑이 비율의 무한대 성장을 방지하지 못하고, 신뢰 영역 제약을 효과적으로 이행하지 못할 수 있음을 보여주었으며, 이는 비율 클리핑의 이론적 타당성에 의문을 제기한다.