[논문 리뷰] Truly Proximal Policy Optimization

Yuhui Wang, Hao He외 2명|arXiv (Cornell University)|2019. 03. 19.

Reinforcement Learning in Robotics참고 문헌 25인용 수 32

한 줄 요약

이 논문은 PPO의 근접 특성을 분석하여 확률 비가 엄격히 바운드되지 않으며 진정한 트러스트 리전을 강제하지 않는다는 것을 보이고, 롤백과 트러스트-리전 기반 클리핑을 갖춘 Truly PPO를 제시하여 단조로운 개선을 보장하고 샘플 효율성을 향상시킨다.

ABSTRACT

Proximal policy optimization (PPO) is one of the most successful deep reinforcement-learning methods, achieving state-of-the-art performance across a wide range of challenging tasks. However, its optimization behavior is still far from being fully understood. In this paper, we show that PPO could neither strictly restrict the likelihood ratio as it attempts to do nor enforce a well-defined trust region constraint, which means that it may still suffer from the risk of performance instability. To address this issue, we present an enhanced PPO method, named Truly PPO. Two critical improvements are made in our method: 1) it adopts a new clipping function to support a rollback behavior to restrict the difference between the new policy and the old one; 2) the triggering condition for clipping is replaced with a trust region-based one, such that optimizing the resulted surrogate objective function provides guaranteed monotonic improvement of the ultimate policy performance. It seems, by adhering more truly to making the algorithm proximal - confining the policy within the trust region, the new algorithm improves the original PPO on both sample efficiency and performance.

연구 동기 및 목표

• PPO가 확률 비를 엄격히 바운드하고 트러스트 리전 제약을 강제하는지 여부를 평가한다.
• PPO의 근접 특성을 조사하고 클리핑과 트러스트 리전 이론 간의 간극을 식별한다.
• 진정한 근접 행동과 단조로운 정책 개선을 보장하는 PPO의 향상을 제안한다.

제안 방법

• 롤백 연산을 도입하여 클리핑 범위를 벗어나려는 유인을 상쇄한다.
• KL 발산을 바운드하기 위한 트러스트 리전 기반 조건으로 클리핑 트리거를 대체한다.
• 롤백 메커니즘을 트러스트-리전 기반 클리핑과 결합하여 1차 최적화를 갖춘 Truly PPO를 형성한다.
• 트러스트 리전 밖에서 KL 기반 패널티를 빼는 새로운 objective를 정의하여 단조로운 개선을 촉진한다.
• Truly PPO의 단조로운 개선에 대한 이론적 보장을 제공한다.
• 정책 성능 및 샘플 효율성을 비교하기 위해 벤치마크 작업에서 실험적으로 평가한다.

실험 결과

연구 질문

• RQ1 PPO가 클리핑 범위 내에서 확률 비를 엄격히 바운드하는가?
• RQ2 PPO가 TRPO와 같은 잘 정의된 트러스트 리전 제약을 강제할 수 있는가?
• RQ3 정의가 간단하고 최적화하기 쉬우면서 실제 근접 행동과 단조로운 개선을 달성하는 PPO 변종을 설계할 수 있는가?
• RQ4 롤백과 트러스트 리전 기반 클리핑이 샘플 효율성과 성능에 어떤 이점을 가져오는가?
• RQ5 Truly PPO는 이론상 및 실전에서 TRPO와 PPO와 어떻게 비교되는가?

주요 결과

• PPO는 실제로는 클리핑 범위 내에서 확률 비를 엄격히 바운드하지 않는다.
• PPO는 진정한 트러스트 리전 제약을 강제하지 않으며, 클리핑하에서 KL 발산이 무제한임을 보여준다.
• 롤백 연산과 트러스트 리전 기반 클리핑 메커니즘을 도입하면 단조로운 개선 보장을 갖는 Truly PPO가 만들어진다.
• Truly PPO 목적 함수는 트러스트 리전에 벗어났을 때 KL 발산에 페널티를 부여하여 근접 업데이트를 촉진한다.
• 이 조합은 벤치마크 작업에서 정책 성능과 샘플 효율성을 향상시킨다.
• 저자들이 구현 코드를 제공한다.