[논문 리뷰] On the Theory of Policy Gradient Methods: Optimality, Approximation, and Distribution Shift

Alekh Agarwal, Sham M. Kakade외 2명|arXiv (Cornell University)|2019. 08. 01.

Reinforcement Learning in Robotics참고 문헌 59인용 수 111

한 줄 요약

본 논문은 할인된 MDP에서 정책 기울기 방법의 전역 수렴 보장을 제시하며, 표 형태의 설정과 함수 근사 설정을 모두 다루고, 분포 변동(distribution shift)과 연결된 평균-케이스 근사 보장을 도입한다.

ABSTRACT

Policy gradient methods are among the most effective methods in challenging reinforcement learning problems with large state and/or action spaces. However, little is known about even their most basic theoretical convergence properties, including: if and how fast they converge to a globally optimal solution or how they cope with approximation error due to using a restricted class of parametric policies. This work provides provable characterizations of the computational, approximation, and sample size properties of policy gradient methods in the context of discounted Markov Decision Processes (MDPs). We focus on both: "tabular" policy parameterizations, where the optimal policy is contained in the class and where we show global convergence to the optimal policy; and parametric policy classes (considering both log-linear and neural policy classes), which may not contain the optimal policy and where we provide agnostic learning results. One central contribution of this work is in providing approximation guarantees that are average case -- which avoid explicit worst-case dependencies on the size of state space -- by making a formal connection to supervised learning under distribution shift. This characterization shows an important interplay between estimation error, approximation error, and exploration (as characterized through a precisely defined condition number).

연구 동기 및 목표

• 표 형식에서 최적 정책이 클래스에 속하는 경우에 정책 기울기 방법의 전역 수렴 특성 확립
• 최적 정책이 정책 클래스 바깥에 있을 수 있는 경우 함수 근사 하의 수렴 분석
• 분포 변동 개념을 통한 worst-case 상태 공간 의존성 회피를 위한 평균-케이스 근사 보장 제공
• 정책 최적화에서 추정 오차, 근사 오차, 탐색 간의 trade-off를 정량화

제안 방법

• 할인된 MDP에서 1차 및 준 2차 정책 기울기 방법 분석
• 표형 정책 기울기 변형(단순집합에 대한 투영 기울기 상승, 소프트맥스 파라미터화, 로그-장벽 정규화 버전)의 반복 복잡도 결과 도출
• 적절한 조건 하에서 상태/행동 공간 크기 및 D_infty에 의존하지 않는 빠른 수렴 속도를 가지는 자연 정책 기울기(NPG) 증명
• 전이-오류/분포 변동 프레임워크를 사용한 함수 근사 정책의 평균-케이스 보장 개발
• 정책 파라미터와 정책 기울기 정리를 포함한 정책 기울기 형식화 및 기울기 지배력 관점 포함
• 오류/분해 분석을 통한 관련 근사 동적 프로그래밍 접근법과의 비교 제공

실험 결과

연구 질문

• RQ1 정책 기울기 방법이 최적 정책이 정책 클래스 내에 있을 때 표 형식에서 전역적으로 수렴할 수 있는가?
• RQ2 최적 정책이 선택된 정책 클래스를 벗어날 수 있을 때 함수 근사 하에서 정책 기울기 방법은 어떻게 수행되는가?
• RQ3 다양한 정책 기울기 변형의 샘플 및 반복 복잡도는 무엇이며, 이는 할인계수와 분포 특성에 어떻게 의존하는가?
• RQ4 최대-케이스 경계에 비해 평균-케이스(분포 변동) 분석이 실용적이고 덜 비관적으로 보장을 제공하는 방식은 무엇인가?
• RQ5 소프트맥스 파라미터화에서 정규화(로그-장벽/엔트로피 등)가 유한 시간 수렴을 달성하는 데 어떤 역할을 하는가?

주요 결과

• 표 형식에서, 적절한 조건 하에 1차 방법이 최적 정책으로의 전역 수렴을 달성한다.
• 자연 정책 기울기(NPG)는 주어진 가정 하에서 상태/행동 공간의 크기 및 분포 불일치에 독립적인 수렴 속도 2/((1-γ)^2 ε)을 달성한다.
• 로그-장벽 정규화를 사용하는 소프트맥스 파라미터화는 문제 양에 다항식으로 표현되는 유한 시간 반복 복잡도 상을 제공한다.
• 함수 근사의 경우, 추정 오차 ε_stat 및 근사 오차 ε_approx, 조건수 κ에 의해 특징지어지는 평균-케이스 보장을 제공하며, 수렴은 분포 변동 D_infty에 의존한다.
• 분포 변동 하에서 정책 기울기 학습이 지도 학습과 연결되어 평균-케이스 보장을 가능하게 하며, 명시적 worst-case 상태 공간 의존성을 피한다.
• 1차 방법의 경우 추정 오차, 근사 오차, 탐색 간의 트레이드-오프를 D_infty 분포 불일치 계수로 나타내고, NPG의 차원 독립 이점을 보여준다.