[논문 리뷰] Fast Global Convergence of Natural Policy Gradient Methods with Entropy Regularization

Shicong Cen, Cheng Chen외 3명|arXiv (Cornell University)|2020. 07. 13.

Reinforcement Learning in Robotics참고 문헌 58인용 수 41

한 줄 요약

이 논문은 디스카운티드 MDP에서 소프트맥스 매개화에 대한 엔트로피 규제 자연 정책 경사(NPG) 방법의 비점근적 선형(로컬 2차) 수렴 보장을 제시하며, 근사 정책 평가 하에서의 안정성도 포함한다.

ABSTRACT

Natural policy gradient (NPG) methods are among the most widely used policy optimization algorithms in contemporary reinforcement learning. This class of methods is often applied in conjunction with entropy regularization -- an algorithmic scheme that encourages exploration -- and is closely related to soft policy iteration and trust region policy optimization. Despite the empirical success, the theoretical underpinnings for NPG methods remain limited even for the tabular setting. This paper develops $ extit{non-asymptotic}$ convergence guarantees for entropy-regularized NPG methods under softmax parameterization, focusing on discounted Markov decision processes (MDPs). Assuming access to exact policy evaluation, we demonstrate that the algorithm converges linearly -- or even quadratically once it enters a local region around the optimal policy -- when computing optimal value functions of the regularized MDP. Moreover, the algorithm is provably stable vis-à-vis inexactness of policy evaluation. Our convergence results accommodate a wide range of learning rates, and shed light upon the role of entropy regularization in enabling fast convergence.

연구 동기 및 목표

• 테이블 형식의 디스카운티 MDP에서 엔트로피 규제 자연 정책 경사(NPG) 방법의 이론적 성능을 동기 부여하고 이해한다.
• 정확한 정책 평가와 근사 정책 평가에 대한 비점근적 수렴 속도를 확립한다.
• 학습률 전체에서 엔트로피 규제가 수렴 속도와 안정성에 어떤 영향을 미치는지 특징짓는다.
• 빠른 수렴 가능성을 보여주고 관련 정책 최적화 방법과의 비교를 제공한다.

제안 방법

• γ-할인 MDP 하에서 엔트로피 규제된 소프트맥스 매개화의 NPG를 연구한다.
• 정책 공간에서 소프트맥스와 정규화된 Qτ 사이의 닫힌 형식 연결을 보이는 정확한 업데이트 규칙을 도출한다.
• (0,(1−γ)/τ] 범위의 일반 학습률 η에 대해 정확한 정책 평가에 대해 비점근적 선형 수렴을 증명한다.
• 정책 평가가 근사일 때도 Extend하여, 정책 평가 오류에 비례하는 오차 바닥과 함께 안정성을 보인다.
• 작은-ε 영역에서 η = (1−γ)/τ일 때의 업데이트가 2차(초선형) 수렴을 달성하여 로컬 영역에 진입한 이후에 log-log(1/ε) 반복으로 확장되는 것을 보여준다.
• TRPO, SPI 및 관련 방법과의 비교를 논의하고 선형 수렴을 보여주는 밴딧 워밍업을 제공한다.

실험 결과

연구 질문

• RQ1 소프트맥스 매개화 하에 엔트로피 규제가 표 형식의 디스카운티드 MDP에서 자연 정책 경사 방법의 수렴 속도를 가속화할 수 있는가?
• RQ2 정확한 및 근사 엔트로피 규제 NPG 방법에 대해 어떤 비점근적 수렴 속도(선형, 2차)가 보장될 수 있는가?
• RQ3 학습률과 규제 매개변수가 정책 평가가 정확한지 근사인지에 따라 수렴 속도와 안정성에 어떤 상호작용을 보이는가?
• RQ4 엔트로피 규제가 SPI나 TRPO와 같은 기존 방법의 반복 복잡도에 비해 어떤 이점을 제공하는가?
• RQ5 근사 Q-함수 정확도가 전체 수렴 및 오차 바닥에 미치는 영향은 무엇인가?

주요 결과

• 엔트로피 규제 NPG가 정확한 정책 평가 하에서 최적의 소프트 Q-함수와 로그 정책으로 선형 수렴한다.
• η가 (0,(1−γ)/τ]인 경우, 규제된 MDP에서 ε-최적화를 달성하기 위한 반복은 (1/(ητ)) log(1/ε)로 스케일된다.
• 근사 엔트로피 규제 NPG는 소규모 오차 바닥까지 선형 수렴 상태를 유지하며, 이 오차 바닥은 소프트 Q-함수 추정의 항목별 오차에 비례하여 증가한다.
• 작은-ε 영역에서 η = (1−γ)/τ일 때의 업데이트는 2차(초선형) 수렴을 달성하여 로컬 영역 진입 후 반복 복잡도가 log log(1/ε) 수준으로 확장된다.
• 비정규화된 NPG(또는 PG)와 비교해 엔트로피 규제가 더 빠른 수렴을 가능하게 하며, 이전 연구와의 차이를 시사하는 표 형식의 복잡도 차이가 강조된다.
• 밴딧 워밍업은 엔트로피 규제 NPG 업데이트가 소프트맥스 최적 정책으로 선형 수렴함을 보여주며, η = 1/τ일 때 한 번에 수렴할 가능성이 있다.