[논문 리뷰] An Adaptive Clipping Approach for Proximal Policy Optimization

Gang Chen, Yiming Peng외 1명|arXiv (Cornell University)|2018. 04. 17.

Reinforcement Learning in Robotics참고 문헌 23인용 수 25

한 줄 요약

이 논문은 상태 중요도에 따라 정책 업데이트를 동적으로 조정하는 가변 클리핑 메커니즘인 PPO-λ를 제안한다. 이는 학습 가능한 하이퍼파rameter λ를 사용하여 상태 수준에서 정책 업데이트의 크기를 조절함으로써, Proximal Policy Optimization(PPO)의 성능을 향상시킨다. 상태 수준의 제약 최적화 문제를 수립하고 이론적 목표를 유도함으로써, PPO-λ는 Atari 게임과 벤치마크 제어 작업 전반에서 표준 PPO보다 더 높은 샘플 효율성과 성능을 달성한다. 최종 성능 향상과 더불어 빠른 학습 속도를 보이며 일관된 성능 향상을 보인다.

ABSTRACT

Very recently proximal policy optimization (PPO) algorithms have been proposed as first-order optimization methods for effective reinforcement learning. While PPO is inspired by the same learning theory that justifies trust region policy optimization (TRPO), PPO substantially simplifies algorithm design and improves data efficiency by performing multiple epochs of \emph{clipped policy optimization} from sampled data. Although clipping in PPO stands for an important new mechanism for efficient and reliable policy update, it may fail to adaptively improve learning performance in accordance with the importance of each sampled state. To address this issue, a new surrogate learning objective featuring an adaptive clipping mechanism is proposed in this paper, enabling us to develop a new algorithm, known as PPO-$λ$. PPO-$λ$ optimizes policies repeatedly based on a theoretical target for adaptive policy improvement. Meanwhile, destructively large policy update can be effectively prevented through both clipping and adaptive control of a hyperparameter $λ$ in PPO-$λ$, ensuring high learning reliability. PPO-$λ$ enjoys the same simple and efficient design as PPO. Empirically on several Atari game playing tasks and benchmark control tasks, PPO-$λ$ also achieved clearly better performance than PPO.

연구 동기 및 목표

• 고정된 클리핑 기법이 PPO의 한계를 해결하지 못하는 문제를 해결한다. 즉, 반복적인 정책 업데이트가 더 중요한 상태를 적절히 우선시하지 못할 수 있다.
• 중요도 기반 상태별 적응형 정책 업데이트를 통해 학습의 신뢰성과 성능을 향상시킨다.
• 하이퍼파rameter λ로 제어되는 적응형 클리핑을 포함한 새로운 서로서티브 학습 목표를 개발한다.
• 간결성과 효율성을 유지하면서도, 학습 과정에서 영향력이 큰 상태를 더 잘 다룰 수 있도록 PPO의 능력을 향상시킨다.
• 실험적으로 적응형 메커니즘이 표준 PPO에 비해 뛰어난 샘플 효율성과 최종 성능을 달성함을 입증한다.

제안 방법

• TRPO의 이론적 기반을 영감으로 삼아, 개별 상태 수준에서의 제약 최적화 문제를 수립한다.
• 상태 수준 최적화 문제를 라그랑주 승수로 변환하고 정적 점을 유도함으로써, 적응형 정책 향상의 이론적 목표를 도출한다.
• 하이퍼파rameter λ를 사용해 업데이트 크기를 상태별로 제어하는 새로운 서로서티브 학습 목표를 제안한다.
• 정책 업데이트 과정에 λ를 통합하여, 각 샘플된 상태의 중요도에 따라 업데이트 크기를 동적으로 조정한다.
• 클리핑과 λ 기반 적응 제어를 조합함으로써 안정성을 확보하고, 파괴적인 정책 업데이트를 방지한다.
• PPO의 단순하고 효율적인 확장으로서 PPO-λ를 구현하였으며, 기존 딥 강화 학습 프레임워크와 학습 파이프라인과 호환된다.

실험 결과

연구 질문

• RQ1 상태 중요도 기반의 적응형 클리핑이 PPO의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 λ를 통한 정책 업데이트 크기의 동적 조정이 복잡한 강화 학습 과제에서 학습 성능에 어떤 영향을 미치는가?
• RQ3 다양한 환경에서 PPO-λ가 표준 PPO에 비해 최종 성능과 학습 속도 측면에서 뛰어나게 되는가?
• RQ4 적응형 메커니즘이 덜 중요한 상태에서는 과도한 업데이트를 방지하면서도 핵심 상태에서는 학습을 향상시킬 수 있는가?
• RQ5 λ와 학습 동역학 간의 관계는 어떠한가? 이를 안정성과 수렴성 향상에 활용할 수 있는가?

주요 결과

• PPO-λ는 BankHeist(+11.4% 향상), Boxing(+19.3%), Freeway(+15.8%), Pong(+8.1%), Seaquest(+8.9%)를 포함한 6개 Atari 게임 중 5개에서 표준 PPO보다 유의미하게 높은 최종 성능를 기록했다.
• Hopper와 Walker2D 제어 과제에서 PPO-λ는 각각 0.9%와 14.4% 높은 최종 성능를 기록했으며, 초기 학습 단계에서 더 빠른 학습 곡선을 보였다.
• 샘플 효율성 측면에서 PPO-λ는 6개 Atari 게임 중 5개와 4개의 벤치마크 제어 과제 중 2개에서 뛰어난 성능를 보였으며, 빠른 학습과 최종 성능 지표 모두에서 일관된 향상을 보였다.
• Enduro 게임에서는 PPO-λ가 PPO와 동일한 성능를 기록하여, 다양한 환경에서 학습 안정성에 하락이 없음을 시사했다.
• 그림 3과 4의 학습 곡선은 Boxing과 Freeway와 같은 게임에서 PPO-λ가 초기 학습 단계부터 PPO를 항상 앞서며, 시간이 갈수록 성능 격차가 커지는 것을 보여준다.
• 실험 결과는 PPO-λ가 λ의 적응 제어를 통해 고도로 안정적인 학습을 유지함을 확인한다. 이는 파괴적인 정책 업데이트를 효과적으로 방지하면서도 영향력 있는 상태에서의 학습을 향상시킨다.