[논문 리뷰] A Note on the Linear Convergence of Policy Gradient Methods.

Jalaj Bhandari, Daniel Russo|arXiv (Cornell University)|2020. 07. 21.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 19

한 줄 요약

이 논문은 정확한 기울기 평가와 완전한 정책 클래스를 갖춘 유한 MDP에서 정책 기울기 방법을 재평가하며, 큰 스텝사이즈를 사용할 경우 선형 수렴를 달성함을 보여준다—최근의 관점에서 이는 부드러운 최적화 문제로 간주되어 부분선형 수렴 속도를 가진다고 보는 것과는 정반대이다. 핵심 통찰은 정책 반복 해석을 통해 더 빠르고 전역 수렴 가능한 업데이트를 가능하게 한다.

ABSTRACT

We revisit the finite time analysis of policy gradient methods in the simplest setting: finite state and action problems with a policy class consisting of all stochastic policies and with exact gradient evaluations. Some recent works have viewed these problems as instances of smooth nonlinear optimization problems, suggesting suggest small stepsizes and showing sublinear convergence rates. This note instead takes a policy iteration perspective and highlights that many versions of policy gradient succeed with extremely large stepsizes and attain a linear rate of convergence.

연구 동기 및 목표

• 정책 기울기 방법을 부드러운 최적화로 보는 것이 아니라 정책 반복의 변형으로 재해석하여 수렴 행동을 더 잘 이해하고자 한다.
• 유한 MDP에서 정책 기울기 방법은 본질적으로 작은 스텝사이즈와 부분선형 수렴 속도를 가진다는 일반적인 견해를 도전하고자 한다.
• 정확한 기울기 평가와 완전한 정책 클래스 하에서 큰 스텝사이즈가 선형 수렴 속도를 이끌 수 있음을 입증하고자 한다.
• 정책 공간의 구조적 성질을 강조하여 정책 기울기 수렴의 이론적 기초를 명확히 하고자 한다.
• 단순한 설정에서 큰 스텝사이즈 정책 기울기의 경험적 성공을 설명하는 새로운 분석 프레임워크를 제공하고자 한다.

제안 방법

• 유한 상태-행동 MDP에서 전체 스토케스틱 정책 집합을 정책 클래스로 삼아 정책 기울기 방법을 분석한다.
• 정책 기울기의 구조와 확률 단체의 기하학적 성질을 활용하여 정책 업데이트를 정책 반복의 한 형태로 간주한다.
• 스토케스틱성을 제거하고 수렴 동역학을 고립하기 위해 정확한 기울기 평가를 사용한다.
• 리아푸노프 스타일의 분석을 적용하여 큰 스텝사이즈 하에서 최적 정책까지의 거리가 매 단계에서 선형적으로 감소함을 보여준다.
• 수렴 속도가 피셔 정보 행렬의 최소 고유값에 의해 결정됨을 입증하여 선형 수렴를 가능하게 한다.
• 표준 부드러운 최적화 분석과 대비하여 정책 반복 해석이 수렴 속도를 과소평가한다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 정확한 기울기 평가와 완전한 정책 클래스 하에서 큰 스텝사이즈를 사용할 경우 정책 기울기 방법이 유한 MDP에서 선형 수렴를 달성할 수 있는가?
• RQ2 최근 연구에서 부분선형 수렴 속도가 보고되었음에도 불구하고 경험적으로는 빠른 수렴이 관찰되는 이유는 무엇인가?
• RQ3 정책 반복 시각은 부드러운 최적화 시각에 비해 정책 기울기 수렴 분석을 어떻게 향상시키는가?
• RQ4 어떤 정책 공간의 구조적 성질이 큰 스텝사이즈 하에서 선형 수렴를 가능하게 하는가?
• RQ5 어떤 조건에서 정책 기울기 업데이트가 정책 반복 단계로 작동하는가?

주요 결과

• 정확한 기울기 평가와 완전한 정책 클래스 하에서 정책 기울기 방법은 큰 스텝사이즈를 사용해도 선형 수렴를 달성한다.
• 수렴 속도는 선형이므로 오차가 매 반복마다 기하급수적으로 감소하며, 표준 부드러운 최적화에서와 같이 부분선형으로 감소하지는 않는다.
• 분석 결과, 이 방법은 수렴 구조상 정책 반복 알고리즘과 유사함을 드러내어 빠른 수렴를 정당화한다.
• 큰 스텝사이즈는 허용 가능한 수준을 넘어서 필수적임을 보여주며, 일반적으로 작은 스텝사이즈를 사용하라는 권고와 정면으로 배치된다.
• 수렴 속도는 피셔 정보 행렬의 최소 고유값에 의해 결정되며, 이는 수렴 속도를 지배한다.
• 결과적으로 정책 기울기가 본질적으로 느리다는 가정을 도전하며, 부드러운 최적화 프레임워크에 기반한 이론적 분석을 재평가할 것을 제안한다.