[논문 리뷰] P3O: Policy-on Policy-off Policy Optimization

Rasool Fakoor, Pratik Chaudhari외 1명|arXiv (Cornell University)|2019. 05. 05.

Reinforcement Learning in Robotics참고 문헌 44인용 수 4

한 줄 요약

P3O는 효과적 표본 크기(Essential Sample Size, ESS)를 사용하여 온-정책과 오프-정책 업데이트를 자동으로 균형 잡는 강화학습 알고리즘으로, 수동 하이퍼파rameter 튜닝이 필요 없으며, 다양한 환경에서 고정된 하이퍼파rameter로 Atari-2600 및 MuJoCo 벤치마크에서 최고의 표본 효율성과 성능을 달성한다.

ABSTRACT

On-policy reinforcement learning (RL) algorithms have high sample complexity while off-policy algorithms are difficult to tune. Merging the two holds the promise to develop efficient algorithms that generalize across diverse environments. It is however challenging in practice to find suitable hyper-parameters that govern this trade off. This paper develops a simple algorithm named P3O that interleaves off-policy updates with on-policy updates. P3O uses the effective sample size between the behavior policy and the target policy to control how far they can be from each other and does not introduce any additional hyper-parameters. Extensive experiments on the Atari-2600 and MuJoCo benchmark suites show that this simple technique is effective in reducing the sample complexity of state-of-the-art algorithms. Code to reproduce experiments in this paper is at https://github.com/rasoolfa/P3O.

연구 동기 및 목표

• 오프-정책 강화학습의 표본 효율성과 온-정책 강화학습의 학습 안정성 간의 상충 관계를 해결하기 위해.
• 온-정책과 오프-정책 업데이트를 통합할 때 수동 하이퍼파rameter 튜닝이 필요 없도록 하기 위해.
• 재튜닝 없이 다양한 환경에서 일반화 가능한 통합된 강력한 알고리즘을 개발하기 위해.
• 효과적 표본 크기(Essential Sample Size, ESS)를 원칙적이고 자동화된 방법으로 활용해 정책 업데이트 행동을 제어하기 위해.

제안 방법

• P3O는 단일 목적 함수를 사용해 온-정책 및 오프-정책 정책 그래디언트 업데이트를 번갈아 적용한다.
• c가 정규화된 효과적 표본 크기(Essential Sample Size, ESS)로 설정된 클리핑 임계값을 사용한 중요도 샘플링을 적용한다.
• 행동 정책 β와 목표 정책 πθ 사이의 KL 발산 페널티를 적용하며, λ = 1 - ESS로 설정해 정책 이탈을 제어한다.
• 알고리즘은 오프-정책 전이를 저장하기 위해 리PLAY 버퍼를 사용하고, ESS를 사용해 오프-정책 데이터의 품질을 측정한다.
• ESS는 중요도 샘플링 클리핑 임계값과 KL 정규화 계수를 동적으로 조정하는 데 사용되어, 방법이 완전히 자동화된다.
• c와 λ를 ESS에서 직접 유도함으로써 추가 하이퍼파rameter를 방지하여 다양한 환경에서 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 효과적 표본 크기(Essential Sample Size, ESS)를 사용해 강화학습에서 온-정책과 오프-정책 업데이트를 자동으로 균형 잡을 수 있는가?
• RQ2 ESS 기반의 하이퍼파rameter가 없는 방법이 표준 벤치마크에서 수동 하이퍼파rameter 튜닝이 필요한 기존 알고리즘보다 우수한 성능을 내는가?
• RQ3 통합된 알고리즘이 다양한 강화학습 환경에서 표본 효율성과 학습 안정성 양측 모두를 달성할 수 있는가?
• RQ4 기존의 하이퍼파rameter 기반 혼합 방식에 비해 ESS 기반 정책 업데이트 제어 방식은 성능과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• P3O는 Atari-2600 벤치마크에서 모든 26개 게임에서 A2C, PPO, Q-Prop, IPG를 앞서는 최고 수준의 성능을 달성한다.
• MuJoCo 연속 제어 작업에서는 P3O가 모든 기준선보다 뚜렷이 뛰어나며, 300만 번째 스텝에서 하프-체타의 평균 수익이 5052에 이른다.
• Ant 환경에서는 평균 수익 4727을 기록해 IPG(3943)와 Q-Prop(3374)를 뛰어넘으며, 복잡한 이동 작업에서 뛰어난 성능을 입증한다.
• 고정된 하이퍼파rameter로 모든 MuJoCo 환경에서 일관된 성능을 유지함으로써 강력한 일반화 능력을 보여준다.
• 온-정책 방법보다 표본 복잡도를 감소시키면서도 표준 오프-정책 방법의 불안정성을 피함으로써 성능 향상을 이룬다.
• ESS를 동적 제어 메커니즘으로 사용함으로써 클리핑 및 정규화 하이퍼파rameter의 수동 튜닝이 필요 없어진다.