[논문 리뷰] Global Convergence of Policy Gradient Methods for the Linear Quadratic Regulator

Maryam Fazel, Rong Ge외 2명|arXiv (Cornell University)|2018. 01. 15.

Advanced Control Systems Optimization인용 수 240

한 줄 요약

논문은 무한 horizon 선형 이차 조정기(LQR)에 대한 모델 기반과 모델 프리 정책 그래디언트 방법이 전역적으로 최적 정책으로 수렴하며, 다항 시간의 샘플 및 계산 복잡도를 가지며, 자연 정책 그래디언트가 수렴 속도를 개선한다는 점을 증명한다.

ABSTRACT

Direct policy gradient methods for reinforcement learning and continuous control problems are a popular approach for a variety of reasons: 1) they are easy to implement without explicit knowledge of the underlying model 2) they are an "end-to-end" approach, directly optimizing the performance metric of interest 3) they inherently allow for richly parameterized policies. A notable drawback is that even in the most basic continuous control problem (that of linear quadratic regulators), these methods must solve a non-convex optimization problem, where little is understood about their efficiency from both computational and statistical perspectives. In contrast, system identification and model based planning in optimal control theory have a much more solid theoretical footing, where much is known with regards to their computational and statistical properties. This work bridges this gap showing that (model free) policy gradient methods globally converge to the optimal solution and are efficient (polynomially so in relevant problem dependent quantities) with regards to their sample and computational complexities.

연구 동기 및 목표

• 강화 학습과 고전적 최적 제어 간의 간극을 메우기 위해 LQR 설정에서 정책 그래디언트 방법에 대한 글로벌 수렴 보장을 확립한다.
• 정확한 방법과 모델 프리(제로스 모드) 정책 그래디언트 접근 방식이 다항 샘플과 계산 복잡성으로 최적 정책으로 수렴함을 보인다.
• 비선형 최적화 설정에서 자연 정책 그래디언트 방법이 순수 그래디언트 방법에 비해 수렴 속도가 개선됨을 입증한다.

제안 방법

• 무한 horizon LQR을 x_{t+1}=Ax_t+Bu_t와 양의 정의된 Q 및 R로 비용을 제시한다.
• 정책이 선형일 때 u_t=-Kx_t인 경우 비용 C(K)를 P_K가 이 Lyapunov 유사 방정식을 풀고 C(K)=E_{x0}[x0^T P_K x0]로 표현한다.
• 정책 그래디언트 ∇C(K)=2E_K Σ_K를 도출하는데 E_K=((R+B^T P_K B)K - B^T P_K A)이고 Σ_K는 상태 상관 행렬이다.
• 경사 하강법, 자연 정책 그래디언트, Gauss-Newton의 세 가지 정확한 업데이트 규칙에 대해 비선형성에도 불구하고 전역 수렴 특성을 보이도록 경사 하등화 및 거의 매끈함(almost-smoothness)을 이용해 분석한다.
• 주요 업데이트의 반복/복잡도 경계를 명시적으로 제시하며 세 가지 업데이트 규칙(i) 그래디언트 하강법, (ii) 자연 정책 그래디언트, (iii) Gauss-Newton에 대해 전역 수렴을 보인다.
• 랜덤 페널링과 롤아웃을 통한 제로차원(제로스 모어) 추정으로 모델 프리 설정에 확장하여 수렴에 필요한 다항 샘플 복잡성을 증명한다.
• 샘플 길이가 충분하고 추정이 정확하면 샤프한 샘플 기반 추정에서도 그래디언트 기반 업데이트가 최적해로 수렴한다는 고수준의 증명 전략을 제공한다.

실험 결과

연구 질문

• RQ1 LQR 목적에 대한 정책 그래디언트가 비선형성에도 불구하고 전역 최적해로 수렴하는가?
• RQ2 모델 프리, 샘플 기반 정책 그래디언트 방법이 다항 시간 보장으로 전역 최적성에 도달할 수 있는가?
• RQ3 자연 정책 그래디언트가 LQR에서 표준 그래디언트 방법에 비해 수렴 속도에서 어떤 차이를 보이는가?
• RQ4 모델 프리 설정에서 보장이 성립하기 위한 필요한 조건(예: 초기 정책의 안정성, 데이터 분포)은 무엇인가?
• RQ5 Gauss-Newton 유형의 업데이트가 이 프레임워크에서 더 강력한 수렴 결과를 제공하는가?

주요 결과

• 정확한 그래디언트 방법은 적절한 스텝사이즈 하에서 최적 정책으로의 글로벌 수렴과 입증 가능한 속도를 달성한다.
• 모델 프리(제로스 모어) 정책 그래디언트와 자연 정책 그래디언트는 명시된 가정하에서 다항 계산 및 샘플 복잡도로 글로벌 최적점에 도달한다.
• 자연 정책 그래디언트는 이 LQR 설정에서 순수 그래디던트보다 이론적으로 더 빠른 수렴 속도를 제공한다.
• Gauss-Newton 업데이트는 검토된 방법들 중에서 가장 강한 이론적 수렴 보장을 제공한다.
• 해당 분석은 최적 제어 이론, 1차/제로차원 최적화, 샘플 기반 강화 학습을 결합하여 모델 기반과 모델 프리 접근법 간의 간극을 해소한다.