[논문 리뷰] Optimality and Approximation with Policy Gradient Methods in Markov Decision Processes

Alekh Agarwal, Sham M. Kakade외 2명|arXiv (Cornell University)|2019. 08. 01.

Reinforcement Learning in Robotics인용 수 33

한 줄 요약

이 논문은 할인된 마르코프 결정 과정(MDP)에서 정책 그래디언트 방법의 이론적 기초를 수립하며, 표본화된 파rameterization 하에서 최적 정책으로의 전역 수렴을 증명하고, 제한된 정책 클래스에서 무지각 학습 보장을 제공한다. 탐색 과제를 극복하기 위해 유리한 초기 상태 분포의 역할을 체계화하며, 정책 그래디언트 방법이 이론적으로 값 기반 방법과 비슷한 수렴 속도와 근사 오차 한계를 갖도록 한다.

ABSTRACT

Policy gradient methods are among the most effective methods in challenging reinforcement learning problems with large state and/or action spaces. However, little is known about even their most basic theoretical convergence properties, including: if and how fast they converge to a globally optimal solution (say with a sufficiently rich policy class); how they cope with approximation error due to using a restricted class of parametric policies; or their finite sample behavior. Such characterizations are important not only to compare these methods to their approximate value function counterparts (where such issues are relatively well understood, at least in the worst case), but also to help with more principled approaches to algorithm design. This work provides provable characterizations of computational, approximation, and sample size issues with regards to policy gradient methods in the context of discounted Markov Decision Processes (MDPs). We focus on both: 1) tabular policy parameterizations, where the optimal policy is contained in the class and where we show global convergence to the optimal policy, and 2) restricted policy classes, which may not contain the optimal policy and where we provide agnostic learning results. One insight of this work is in formalizing the importance how a favorable initial state distribution provides a means to circumvent worst-case exploration issues. Overall, these results place policy gradient methods under a solid theoretical footing, analogous to the global convergence guarantees of iterative value function based algorithms.

연구 동기 및 목표

• 할인된 마르코프 결정 과정(MDP)에서 정책 그래디언트 방법의 증명 가능한 수렴 성질을 수립하는 것, 특히 계산, 근사, 표본 크기 행동 측면에서.
• 최적 정책이 파arametric 정책 클래스에 포함되지 않을 경우 정책 그래디언트 방법의 성능을 분석하고, 무지각 학습 보장을 제공하는 것.
• 초기 상태 분포가 탐색 효율성과 수렴에 미치는 영향을 조사하고, 악성 탐색 문제를 회피하는 데서 그 역할을 체계화하는 것.
• 반복적인 값 함수 알고리즘의 보장을 유사하게 제공함으로써 정책 그래디언트 방법을 값 기반 방법과 비교하는 것.
• 특히 실용적 환경에서 수렴 속도와 근사 오차 측면에서 정책 그래디언트 방법에 대한 이론적 이해의 격차를 메우는 것.

제안 방법

• 저자들은 표본화된 정책 파arameterization과 제한된 파arametric 정책 클래스를 사용한 할인 MDP의 맥락에서 정책 그래디언트 방법을 분석한다.
• 표본화 정책의 경우, 기대 누적 보상에 대한 기울기 상승을 이용하여 최적 정책으로의 전역 수렴을 증명하며, 부드러움과 강한 볼록성 성질을 활용한다.
• 제한된 정책 클래스의 경우, 클래스 내 최고 정책에 대한 근사 오차를 정량화하는 무지각 학습 한계를 유도한다.
• 초기 상태 분포가 수렴에 미치는 영향을 체계적으로 분석하며, 유리한 분포가 악성 탐색 블로킹 문제를 제거할 수 있음을 보여준다.
• 이론적 결과는 확률적 근사, 마르코프 체인 이론, 최적화 도구를 사용하여 유도되며, 기울기 노이즈와 수렴 속도에 대한 경계를 포함한다.
• 핵심 요소로는 정책 그래디언트 정리의 사용과 성능 목표 함수의 헤시안 분석을 통한 국소 및 전역 수렴 행동 분석이 포함된다.

실험 결과

연구 질문

• RQ1 표본화된 MDP에서 정책 그래디언트 방법이 최적 정책으로 전역 수렴하기 위한 조건은 무엇인가?
• RQ2 최적 정책이 파arametric 정책 클래스 외부에 있을 경우 정책 그래디언트 방법은 어떻게 행동하며, 어떤 성능 보장을 제공할 수 있는가?
• RQ3 초기 상태 분포가 정책 그래디언트 방법의 수렴과 탐색 효율성에 미치는 영향은 무엇인가?
• RQ4 정책 클래스의 근사 오차가 정책 그래디언트 방법의 성능에 미치는 영향은 무엇이며, 이를 경계로 만들 수 있는가?
• RQ5 함수 근사가 존재할 경우 정책 그래디언트 방법의 유한 표본 및 계산 수렴 속도는 어떻게 되는가?

주요 결과

• 표본화된 파arameterization을 사용하는 할인 MDP에서, 표준 정규 조건 하에 정책 그래디언트 방법은 최적 정책으로 전역 수렴한다.
• 최적 정책을 포함하지 않는 제한된 정책 클래스의 경우, 방법은 무지각 학습 보장을 제공하며, 근사 오차에 기반한 부분 최적성 갭을 경계한다.
• 유리한 초기 상태 분포는 악성 탐색 문제를 완화함으로써 수렴을 크게 향상시키며, 광범위한 탐색의 필요성을 줄인다.
• 논문은 정책 그래디언트 방법에 대해 유한 표본 수렴 속도를 수립하며, 수렴 속도가 성능 표면의 곡률과 정책 초기화의 질에 따라 달라짐을 보여준다.
• 제한된 정책 클래스로 인한 근사 오차는 공식적으로 정량화되며, 클래스 내 최고 정책과 진정한 최적 정책 간의 거리에 따라 경계된다.
• 이론적 프레임워크는 값 기반 반복 알고리즘의 수렴 보장과 비슷한 엄밀함을 갖춘 정책 그래디언트 방법의 기초를 제공한다.