[논문 리뷰] On the Global Convergence Rates of Softmax Policy Gradient Methods

Jincheng Mei, Chenjun Xiao외 2명|arXiv (Cornell University)|2020. 05. 13.

Stochastic Gradient Optimization Techniques인용 수 60

한 줄 요약

이 논문은 표본 설정에서 소프트맥스 정책 그래디언트 방법의 전역 수렴 속도를 확립하며, 진정한 그래디언트를 사용할 경우 $O(1/t)$ 수렴 속도를 보이고, 엔트로피 정규화가 적용될 경우 더 빠른 $O(e^{-c t})$ 수렴 속도를 얻는다. 이는 비균일 Łojasiewicz 차수와의 연결을 통해 열린 질문을 해결하며, 엔트로피 정규화의 경험적 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

We make three contributions toward better understanding policy gradient methods in the tabular setting. First, we show that with the true gradient, policy gradient with a softmax parametrization converges at a $O(1/t)$ rate, with constants depending on the problem and initialization. This result significantly expands the recent asymptotic convergence results. The analysis relies on two findings: that the softmax policy gradient satisfies a \L{}ojasiewicz inequality, and the minimum probability of an optimal action during optimization can be bounded in terms of its initial value. Second, we analyze entropy regularized policy gradient and show that it enjoys a significantly faster linear convergence rate $O(e^{-c \cdot t})$ toward softmax optimal policy $(c > 0)$. This result resolves an open question in the recent literature. Finally, combining the above two results and additional new $\Omega(1/t)$ lower bound results, we explain how entropy regularization improves policy optimization, even with the true gradient, from the perspective of convergence rate. The separation of rates is further explained using the notion of non-uniform \L{}ojasiewicz degree. These results provide a theoretical understanding of the impact of entropy and corroborate existing empirical studies.

연구 동기 및 목표

• 표본 설정에서 소프트맥스 정책 그래디언트 방법의 전역 수렴 행동을 이해하기 위해.
• 엔트로피 정규화가 정책 그래디언트 방법에서 더 빠른 수렴을 이끌 수 있는지 여부에 대한 열린 질문을 해결하기 위해.
• Łojasiewicz 부등식과 비균일 Łojasiewicz 차수를 활용하여 엔트로피 정규화의 수렴 속도에 미치는 이론적 영향을 설명하기 위해.
• 정규화 유무에 따른 수렴 속도를 대비하기 위해 $\Omega(1/t)$ 하한을 엄밀하게 확립하기 위해.

제안 방법

• 진짜 그래디언트를 사용할 경우 Łojasiewicz 부등식을 통해 소프트맥스 정책 그래디언트 분석을 수행하여 $O(1/t)$ 전역 수렴을 확립한다.
• 정책 그래디언트 목표에 엔트로피 정규화를 도입하여 수렴 속도를 가속화한다.
• 엔트로피 정규화된 정책 그래디언트에 대해 $c > 0$ 인 선형 수렴 속도 $O(e^{-c t})$ 를 증명한다.
• 최적 행동의 최소 확률이 최적화 과정 중에 그 초기 값에 따라 하한이 있음을 유계로 표현한다.
• 비균일 Łojasiewicz 차수 개념을 사용하여 정규화된 및 정규화되지 않은 방법 간의 수렴 속도 차이를 설명한다.
• $O(1/t)$ 수렴 속도의 엄밀함을 입증하기 위해 $\Omega(1/t)$ 하한을 유도한다.

실험 결과

연구 질문

• RQ1 표본 설정에서 진짜 그래디언트를 사용한 소프트맥스 정책 그래디언트의 전역 수렴 속도는 무엇인가?
• RQ2 엔트로피 정규화는 정책 그래디언트 방법에서 더 빠른 수렴 속도를 이끌어내는가?
• RQ3 비균일 Łojasiewicz 차수는 정규화된 및 정규화되지 않은 정책 그래디언트 간의 성능 격차를 어떻게 설명하는가?
• RQ4 소프트맥스 정책 그래디언트의 수렴 속도에 대해 엄밀한 하한을 확립할 수 있는가?
• RQ5 엔트로피 정규화가 정책 최적화에서 수렴을 향상시키는 이론적 메커니즘은 무엇인가?

주요 결과

• 진짜 그래디언트를 사용한 소프트맥스 정책 그래디언트는 문제와 초기화에 따라 상수가 달라지는 전역 수렴 속도 $O(1/t)$ 를 보인다.
• 엔트로피 정규화된 정책 그래디언트는 $c > 0$ 인 선형 수렴 속도 $O(e^{-c t})$ 를 통해 소프트맥스 최적 정책으로 수렴한다.
• 엔트로피 정규화에 의한 수렴 속도 향상은 문제의 내재 기하학을 반영하는 비균일 Łojasiewicz 차수를 통해 설명된다.
• 하한 $\Omega(1/t)$ 가 확립되어, 비정규화된 정책 그래디언트의 $O(1/t)$ 수렴 속도가 엄밀함을 확인한다.
• 결과는 정책 최적화에서 엔트로피 정규화의 경험적 성공에 대한 이론적 기반을 제공한다.
• 분석을 통해 최적 행동의 최소 확률이 최적화 과정에서 그 초기 값에 관한 함수로 하한이 있음을 밝혀내어, 수렴 속도 분석이 가능해진다.