[논문 리뷰] Equivalence Between Policy Gradients and Soft Q-Learning

John Schulman, Xi Chen외 1명|arXiv (Cornell University)|2017. 04. 21.

Reinforcement Learning in Robotics참고 문헌 11인용 수 198

한 줄 요약

논문은 엔트로피 규제 Q-학습(소프트 Q-학습)과 정책 기울기 방법 사이의 정확한 동등성을 증명하고 이를 자연 정책 경사와 연결하며, Atari 실험에서 경쟁력 있는 성능을 보인다.

ABSTRACT

Two of the leading approaches for model-free reinforcement learning are policy gradient methods and $Q$-learning methods. $Q$-learning methods can be effective and sample-efficient when they work, however, it is not well-understood why they work, since empirically, the $Q$-values they estimate are very inaccurate. A partial explanation may be that $Q$-learning methods are secretly implementing policy gradient updates: we show that there is a precise equivalence between $Q$-learning and policy gradient methods in the setting of entropy-regularized reinforcement learning, that "soft" (entropy-regularized) $Q$-learning is exactly equivalent to a policy gradient method. We also point out a connection between $Q$-learning methods and natural policy gradient methods. Experimentally, we explore the entropy-regularized versions of $Q$-learning and policy gradients, and we find them to perform as well as (or slightly better than) the standard variants on the Atari benchmark. We also show that the equivalence holds in practical settings by constructing a $Q$-learning method that closely matches the learning dynamics of A3C without using a target network or $ε$-greedy exploration schedule.

연구 동기 및 목표

• Q-learning 방법이 불완전한 Q-값에도 불구하고 때때로 왜 잘 수행하는지에 대한 이해를 촉진한다.
• 엔트로피 규제 하에서 소프트 Q-학습과 정책 기울기 방법 사이의 그래디언트 수준에서의 정확한 동등성을 확립한다.
• 자연 정책 경사 및 A3C와 같은 배우-비평 프레임워크와의 연결고리를 다리처럼 놓는다.
• 타깃 네트워크나 ε-탐욕적 탐색 없이 A3C 다이나믹스를 모방하는 Q-학습 변형을 구성하고 Atari 실험으로 실용적 타당성을 입증한다.

제안 방법

• KL 발산 패널티와 볼츠만 정책을 갖는 엔트로피 규제 RL을 형식화한다.
• n-스텝 Q-학습 손실의 그래디언트가 기저선/오차 항을 더한 n-스텝 정책 기울기 손실의 그래디언트와 같음을 보인다.
• 엔트로피 규제 하에서 볼츠만 백업과 고정 정책 백업 연산자를 유도한다.
• 그래디언트 업데이트의 최소제곱 해석을 통해 소프트 Q-학습을 자연 정책 경사와 연결한다.
• 타깃 네트워크와 n-스텝 백업을 사용하여 엔트로피 증강 보상을 최적화하는 소프트 Q-학습 변형을 정의한다.
• KL 패널티의 도입과 고전적 엔트로피 보너스의 차이를 논의하고 배우-비평 방법과의 실용적 연결을 제공한다.

실험 결과

연구 질문

• RQ1 적절한 조건에서 엔트로피 규제 소프트 Q-학습의 그래디언트가 정책 기울기 업데이트와 동일하다고 보일 수 있는가?
• RQ2 엔트로피 규제가 Q-학습과 정책 기울기의 관계에 어떤 영향을 미치며, 이것이 실험적 성능 유사성을 설명할 수 있는가?
• RQ3 소프트 Q-학습과 자연 정책 경사 방법 간의 연결고리는 무엇인가?
• RQ4 엔트로피 규제 방법이 Atari와 같은 표준 벤치마크에서 경쟁력 있게 수행되는가, 그리고 Q-학습을 통해 A3C 다이나믹스를 모방하도록 만들 수 있는가?
• RQ5 타깃 네트워크나 고정된 탐색 일정 없이 실용적 Q-학습 변형이 배우-비평 학습 다이내믹스를 재현할 수 있는가?

주요 결과

• 엔트로피 규제 하에서 소프트 Q-학습 그래디언트와 정책 기울기 그래디언트 사이에 정확한 동등성이 있다.
• 소프트 Q-학습의 그래디언트는 A3C 같은 배우-비평 방법에 유사한 기저선-오차 그래디언트 항과 정책 기울기 항으로 분해된다.
• 리플레이/배치 업데이트를 가진 Q-학습과 자연 정책 경사 방법 사이의 연결이 그려진다.
• 실험에서 Atari에서 엔트로피 규제 버전의 Q-학습과 정책 기울기가 표준 버전과 동등하거나 약간 더 나은 성능을 보인다.
• 목표 네트워크나 ε-탐욕적 탐색 없이 A3C 학습 다이나믹스를 거의 일치시키는 Q-학습 방법을 구성함으로써 실용적으로 동등성이 성립한다.