[논문 리뷰] On the Convergence Rates of Policy Gradient Methods

Lin Xiao|arXiv (Cornell University)|2022. 01. 19.

Markov Chains and Monte Carlo Methods인용 수 13

한 줄 요약

이 논문은 유한한 시간 간격 할인 MDP에서 정책 기반 강화 학습 방법의 날카운 수렴 속도를 확립한다. 약한 기울기-매핑 지배 조건을 도입하여 투영된 정책 기반 기울기 방법의 하향 수렴 속도를 증명하고, 기하급수적으로 증가하는 스텝 크기를 사용할 경우 자연 정책 기반 기울기와 투영 Q-강화 방법을 포함한 광범위한 정책 미러 강화 방법 클래스가 엔트로피 정규화 없이 선형 수렴 속도를 달성함을 보여준다.

ABSTRACT

We consider infinite-horizon discounted Markov decision problems with finite state and action spaces and study the convergence rates of the projected policy gradient method and a general class of policy mirror descent methods, all with direct parametrization in the policy space. First, we develop a theory of weak gradient-mapping dominance and use it to prove sharper sublinear convergence rate of the projected policy gradient method. Then we show that with geometrically increasing step sizes, a general class of policy mirror descent methods, including the natural policy gradient method and a projected Q-descent method, all enjoy a linear rate of convergence without relying on entropy or other strongly convex regularization. Finally, we also analyze the convergence rate of an inexact policy mirror descent method and estimate its sample complexity under a simple generative model.

연구 동기 및 목표

• 유한한 시간 간격 할인 MDP에서 투영된 정책 기반 기울기 및 정책 미러 강화 방법의 수렴 속도를 분석한다.
• 더 날카운 하향 수렴 경계를 유도하기 위해 새로운 약한 기울기-매핑 지배 조건을 확립한다.
• 엔트로피 정규화에 의존하지 않고 기하급수적으로 증가하는 스텝 크기를 사용할 경우 일반적인 정책 미러 강화 방법 클래스의 선형 수렴을 증명한다.
• 생성 모델 하에서의 근사 정책 미러 강화 방법의 표본 복잡도를 분석한다.
• 기울기-매핑 및 미러 강화와 같은 최적화 이론적 도구를 사용하여 정책 기반 기울기 방법의 수렴 분석을 통합하고 일반화한다.

제안 방법

• 투영된 정책 기반 기울기 방법의 수렴을 분석하기 위해 약한 기울기-매핑 지배 조건을 도입한다.
• 가치 함수에 대해 연쇄 법칙을 적용하여 도출된 정책 기반 기울기 공식을 사용하여 ∇V(π)를 표현하며, 여기서 (I - γP(π))의 역행렬을 포함한다.
• 거리 유사 함수 D_k(π, π^{(k)})를 사용하는 미러 강화 프레임워크를 적용하며, 이는 현재 정책에 따라 달라질 수 있어 투영 기울기와 자연 정책 기반 기울기의 일반화를 가능하게 한다.
• 기하급수적으로 증가하는 스텝 크기를 사용하여 일반적인 정책 미러 강화 방법 클래스의 선형 수렴을 달성한다.
• 간단한 생성 모델 하에서 근사 정책 미러 강화 방법을 분석하고, 기울기 오차 경계를 통해 표본 복잡도를 추정한다.
• 제안된 기울기-매핑 지배 조건이 기존의 KŁ 조건 및 프록시멀 PŁ 조건과 유사함을 제시하며, 잠재적인 동치성 가능성을 시사한다.

실험 결과

연구 질문

• RQ1 약한 기울기-매핑 지배 조건 하에서 투영된 정책 기반 기울기 방법의 수렴 속도는 무엇인가?
• RQ2 정책 미러 강화 방법이 엔트로피 또는 기타 강한 볼록 정규화 없이 선형 수렴을 달성할 수 있는가?
• RQ3 기하급수적으로 증가하는 스텝 크기는 정책 미러 강화 방법의 수렴에 어떤 영향을 미치는가?
• RQ4 생성 모델 하에서 근사 정책 미러 강화 방법의 표본 복잡도는 무엇인가?
• RQ5 제안된 기울기-매핑 지배 조건은 기존 최적화 조건인 KŁ 및 PŁ와 어떻게 관련이 있는가?

주요 결과

• 약한 기울기-매핑 지배 조건 하에서 투영된 정책 기반 기울기 방법이 더 날카운 하향 수렴 속도를 달성한다.
• 기하급수적으로 증가하는 스텝 크기를 사용할 경우 자연 정책 기반 기울기 및 투영 Q-강화 방법을 포함한 일반적인 정책 미러 강화 방법 클래스가 전역 최적점으로 선형 수렴한다.
• 엔트로피 정규화나 강한 볼록성 조건을 요구하지 않고, 기울기-매핑 지배 조건에 의존하여 선형 수렴이 보장된다.
• 생성 모델 하에서 근사 정책 미러 강화 방법은 표본 복잡도가 O(1/ε²)이며, 기울기 오차는 농도 경계를 통해 제어된다.
• 제안된 약한 기울기-매핑 지배 조건은 프록시멀 폴락-로자예프스키(Polyak-Łojasiewicz, PŁ) 조건과 밀접한 관련이 있으며, 서로 다른 상수를 포함한 잠재적 동치성을 시사한다.
• 분석을 통해 기울기-매핑 지배 조건이 고전적인 최적화 조건과 정책 기반 기울기 수렴 간의 격차를 메우며, 통합된 프레임워크를 제공함을 드러낸다.