[논문 리뷰] Neural Policy Gradient Methods: Global Optimality and Rates of Convergence

Lingxiao Wang, Qi Cai외 2명|arXiv (Cornell University)|2019. 08. 29.

Model Reduction and Neural Networks참고 문헌 80인용 수 91

한 줄 요약

이 논문은 과파라미터화된 두층 네트워크에서 신경망 정책 경사법의 글로벌 최적성과 서브선형 수렴 속도를 증명하며, 배우-비평가 간의 호환성의 중요성을 강조한다.

ABSTRACT

Policy gradient methods with actor-critic schemes demonstrate tremendous empirical successes, especially when the actors and critics are parameterized by neural networks. However, it remains less clear whether such "neural" policy gradient methods converge to globally optimal policies and whether they even converge at all. We answer both the questions affirmatively in the overparameterized regime. In detail, we prove that neural natural policy gradient converges to a globally optimal policy at a sublinear rate. Also, we show that neural vanilla policy gradient converges sublinearly to a stationary point. Meanwhile, by relating the suboptimality of the stationary points to the representation power of neural actor and critic classes, we prove the global optimality of all stationary points under mild regularity conditions. Particularly, we show that a key to the global optimality and convergence is the "compatibility" between the actor and critic, which is ensured by sharing neural architectures and random initializations across the actor and critic. To the best of our knowledge, our analysis establishes the first global optimality and convergence guarantees for neural policy gradient methods.

연구 동기 및 목표

• 배우-비평가 설정에서 신경망 정책 경사법의 이론적 보장을 이해하도록 동기를 부여한다.
• 공유 아키텍처 하에서 과파라미터화에 따른 수렴성과 최적화를 분석한다.
• 바닐라(policy gradient)와 자연정책경사 방법의 수렴 속도를 제시한다.
• 공유 초기화를 통한 배우-비평가 간의 호환성의 역할을 보여준다.

제안 방법

• 정책을 ReLU 활성화가 있는 두층 신경망과 행동에 대한 softmax(에너지 기반 형태)로 표현한다.
• 정책 경사를 추정하기 위해 비평가에 대해 독립 샘플링이 포함된 TD(0)를 사용한다.
• 두 설정을 분석한다: 바닐라 정책 경사(gradient ascent)와 자연 정책 경사(Fisher 정보 기반 업데이트).
• 바닐라 정책 경사에 대해 정책 경사의 기댓값 제곱 노름의 1/√T 수렴 속도를 보인다.
• KL 정규화 하에서 신경 자연 정책 경사에 대해 글로벌 최적 정책으로의 1/√T 수렴 속도를 보인다.

실험 결과

연구 질문

• RQ1 과파라미터화 하에서 신경망 정책 경사법이 글로벌 최적 정책으로 수렴하는가?
• RQ2 배우-비평가 설정에서 신경망 정책 경사와 신경망 자연 정책 경사의 수렴 속도는 무엇인가?
• RQ3 배우-비평가 간의 호환성(공유 아키텍처와 초기화)이 수렴성과 최적성에 어떻게 영향을 미치는가?
• RQ4 완만한 규칙성 조건하에서 신경망 정책 경사의 정지점이 글로벌 최적일 수 있는가?

주요 결과

• 신경망 바닐라 정책 경사는 제곱 경사 노름의 1/√T 속도로 정지점으로 수렴한다.
• 신경망 자연 정책 경사는 총 보상에서 1/√T 속도로 글로벌 최적 정책으로 수렴한다.
• 완만한 규칙성 조건과 신경 배우/비평기의 표현력 하에서 모든 정지점의 글로벌 최적성이 성립한다.
• 글로벌 보장은 공유 아키텍처와 무작위 초기화를 통해 달성되는 배우와 비평가 간의 호환성 개념에 의존한다.
• 해석은 독립 샘플링 설정에서 TD(0) 비평가를 갖는 과파라미터화된 두층 네트워크를 다룬다.