[논문 리뷰] Combining policy gradient and Q-learning

Brendan O’Donoghue, Rémi Munos외 2명|arXiv (Cornell University)|2016. 11. 05.

Reinforcement Learning in Robotics참고 문헌 28인용 수 94

한 줄 요약

이 논문은 정규화된 정책 기울기와 Q-값 간의 固定點 관계를 활용하여 정책 기울기 학습과 오프-정책 Q-학습을 결합한 새로운 강화학습 알고리즘 PGQL을 제안한다. 정책 행동 선호도로부터 Q-값을 추정하고 오프-정책 Q-학습 업데이트를 통해 이를 정밀하게 다듬음으로써 PGQL는 뛰어난 데이터 효율성과 안정성을 확보하며, 전체 Atari 스위트에서 A3C와 딥 Q-학습을 모두 능가한다. 무작위 시작 조건에서 중앙값 기준 인간 성능을 초월하는 100% 이상의 성능을 기록하였다.

ABSTRACT

Policy gradient is an efficient technique for improving a policy in a reinforcement learning setting. However, vanilla online variants are on-policy only and not able to take advantage of off-policy data. In this paper we describe a new technique that combines policy gradient with off-policy Q-learning, drawing experience from a replay buffer. This is motivated by making a connection between the fixed points of the regularized policy gradient algorithm and the Q-values. This connection allows us to estimate the Q-values from the action preferences of the policy, to which we apply Q-learning updates. We refer to the new technique as 'PGQL', for policy gradient and Q-learning. We also establish an equivalency between action-value fitting techniques and actor-critic algorithms, showing that regularized policy gradient techniques can be interpreted as advantage function learning algorithms. We conclude with some numerical examples that demonstrate improved data efficiency and stability of PGQL. In particular, we tested PGQL on the full suite of Atari games and achieved performance exceeding that of both asynchronous advantage actor-critic (A3C) and Q-learning.

연구 동기 및 목표

• 딥 강화학습에서 순수한 정책 기울기 방법의 데이터 비효율성과 온-정책 제약 문제를 해결하기 위해.
• 정규화된 정책 기울기와 Q-값 간의 연결 고리를 설정하여 정책 기울기 프레임워크에서 오프-정책 학습을 가능하게 하기 위해.
• Q-학습 업데이트를 정책 기울기 최적화에 통합함으로써 샘플 효율성과 학습 안정성을 향상시키기 위해.
• 정규화된 정책 기울기 방법이 Q-값 분해를 통해 이점 함수 학습 알고리즘으로 해석될 수 있음을 보여주기 위해.
• Atari 학습 환경에서 최신 기법인 A3C와 딥 Q-학습과의 비교를 통해 PGQL의 성능를 실증적으로 검증하기 위해.

제안 방법

• 이 방법은 정규화된 정책 기울기 업데이트의 고정점에서 정책의 행동 선호도로부터 Q-값 추정을 유도한다.
• 과거 경험의 리PLAY 버퍼를 사용하여 이러한 추정된 Q-값에 대해 오프-정책 Q-학습 업데이트를 적용한다.
• 이 알고리즘은 이중 업데이트 메커니즘을 사용한다: 정책 기울기 업데이트로 정책 향상과 Q-학습 업데이트로 Q-값 정밀화.
• Q-값 파arameterization은 듀얼 네트워크 아키텍처를 따르며, Q-값을 상태가치 함수와 이점 함수로 분해한다.
• 하이퍼파라미터 스케줄링을 통해 정책 기울기와 Q-학습 업데이트의 학습률을 균형 잡으며, Q-학습 업데이트가 더 자주 수행된다.
• 이 방법은 딥 신경망을 사용하여 구현되며, 공유된 정책 및 Q-값 네트워크 아키텍처를 사용하여 Atari 환경에 적용된다.

실험 결과

연구 질문

• RQ1 정규화된 정책 기울기 알고리즘의 고정점이 정책의 행동 선호도와 일치하는 Q-값을 추정하는 데 사용될 수 있는가?
• RQ2 오프-정책 Q-학습 업데이트를 정책 기울기 최적화와 조합함으로써 데이터 효율성과 학습 안정성이 향상되는가?
• RQ3 정규화된 정책 기울기 방법이 Q-값 분해를 통해 이점 함수 학습 알고리즘으로 해석될 수 있는가?
• RQ4 PGQL는 Atari 스위트에서 A3C와 딥 Q-학습과 비교해 성능 및 샘플 효율성 측면에서 어떻게 다른가?
• RQ5 PGQL의 실패 모드는 국소 최적점이나 초기 데이터에 대한 과적합 때문인가?

주요 결과

• PGQL는 전체 Atari 스위트에서 A3C와 딥 Q-학습을 모두 57개 게임 중 34개에서 능가하는 뛰어난 성능을 기록하였다.
• 무작위 시작 평가에서 PGQL는 인간 성능 기준 평균 정규화 점수 877.2%와 중앙값 145.6%를 기록하였다.
• 인간 시작 평가에서 PGQL는 평균 점수 416.7%와 중앙값 103.3%를 기록하였으며, 인간 성능 기준선(100%)을 초월하였다.
• 특히 PGQL는 A3C와 Q-학습보다 높은 데이터 효율성을 보였으며, 특히 최상위 성능를 기록한 게임들에서 샘플 학습 트레이스를 통해 이를 입증하였다.
• PGQL가 성능이 떨어지는 경우, 일반적으로 초기에 포화 상태에 도달하거나 붕괴되는 경향을 보였으며, 이는 초기 데이터에 대한 과적합 또는 국소 최적점으로 수렴하는 데 기인할 수 있다.
• 이 방법은 안정성과 샘플 효율성이 향상되었으며, 단 한 개의 게임에서만 PGQL가 최악의 성능를 기록하였고, 대부분의 경우 다른 두 방법 사이에서 순위를 차지하였다.