[논문 리뷰] Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence

Joao Paulo Jansch-Porto, Bin Hu외 1명|arXiv (Cornell University)|2020. 11. 24.

Reinforcement Learning in Robotics참고 문헌 50인용 수 6

한 줄 요약

이 논문은 마코프ian 점프 선형 제어(MJLS)를 위한 기울기 기반 정책 최적화 방법—경사 하강법, 가우스-뉴턴, 자연 정책 기울기—의 전역 수렴성을 확립한다. 문제의 비볼록성에도 불구하고, 평균 제곱 안정화 가능한 초기화 조건 하에서 최적의 상태 피드백 제어기로 선형 수렴을 증명하며, 최적화 경로상의 강력한 성질들인 강력성(coercivity), 기울기 지배성(gradient dominance), 거의 미분 가능성(almost smoothness)을 활용한다.

ABSTRACT

Recently, policy optimization for control purposes has received renewed attention due to the increasing interest in reinforcement learning. In this paper, we investigate the global convergence of gradient-based policy optimization methods for quadratic optimal control of discrete-time Markovian jump linear systems (MJLS). First, we study the optimization landscape of direct policy optimization for MJLS, with static state feedback controllers and quadratic performance costs. Despite the non-convexity of the resultant problem, we are still able to identify several useful properties such as coercivity, gradient dominance, and almost smoothness. Based on these properties, we show global convergence of three types of policy optimization methods: the gradient descent method; the Gauss-Newton method; and the natural policy gradient method. We prove that all three methods converge to the optimal state feedback controller for MJLS at a linear rate if initialized at a controller which is mean-square stabilizing. Some numerical examples are presented to support the theory. This work brings new insights for understanding the performance of policy gradient methods on the Markovian jump linear quadratic control problem.

연구 동기 및 목표

• 마코프ian 점프 선형 시스템(MJLS)이라는 하이브리드 시스템의 맥락에서 정책 최적화 방법의 이론적 성능을 이해하기 위해.
• 이전에 선형 시간 불변(LTI) 시스템(예: LQR)에서 확립된 정책 기울기 방법의 수렴 이론을 더 복잡한 MJLS 환경으로 확장하기 위해.
• 전역 수렴 보장을 가능하게 하는 MJLS 정책 최적화 경로의 구조적 성질들—강력성, 기울기 지배성, 거의 미분 가능성—을 규명하기 위해.
• 안정화 초기화 조건 하에서, 경사 하강법, 가우스-뉴턴, 자연 정책 기울기의 세 가지 주요 정책 최적화 방법에 대한 수렴 분석을 제공하기 위해.
• 크기와 모드 수가 다양한 시스템에 대한 수치 실험을 통해 이론적 결과를 지원하고, 일관된 수렴 행동을 시연하기 위해.

제안 방법

• 정적 상태 피드백과 제곱형 비용을 갖는 MJLS에 대한 직접 정책 최적화의 최적화 경로를 분석하여, 강력성, 기울기 지배성, 거의 미분 가능성과 같은 핵심 구조적 성질을 규명한다.
• 이러한 성질을 이용해 수렴 보장을 도출하며, 경사 하강법, 가우스-뉴턴, 자연 정책 기울기 방법의 선형 수렴 속도를 증명한다.
• 세 정책 최적화 방법 모두 평균 제곱 안정화 가능한 초기화 조건이 주어지면 최적의 제어기로 전역 수렴함을 입증한다.
• 리아푸노프 유사한 추론과 재귀적 오차 경계를 사용하여 비용이 단조롭게 감소하고 최적 값으로 선형 수렴함을 보인다.
• 샘플된 궤적에서 정책 기울기와 페셔 정보를 추정함으로써 모델-프리 구현을 제안하며, 이는 알려지지 않은 MJLS에 적용 가능하게 한다.
• 100개와 1000개의 상태를 갖는 시스템에 대한 수치 실험을 통해 이론적 수렴 속도를 검증하고, 다양한 방법 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 비볼록 문제임에도 불구하고 기울기 기반 정책 최적화 방법이 MJLS 제어에서 전역 수렴을 달성할 수 있는가?
• RQ2 MJLS 정책 최적화 경로의 어떤 구조적 성질—강력성, 기울기 지배성, 거의 미분 가능성—이 전역 수렴을 가능하게 하는가?
• RQ3 가우스-뉴턴 및 자연 정책 기울기 방법이 MJLS 환경에서 표준 경사 하강법보다 더 빠르게 수렴하는가?
• RQ4 평균 제곱 안정화 가능한 초기화 조건이 주어졌을 때 MJLS에서 정책 최적화의 전역 수렴이 보장되는가?
• RQ5 제안된 방법들은 샘플된 궤적을 이용해 모델-프리 방식으로 구현 가능한가, 그리고 이는 수렴에 어떤 영향을 미치는가?

주요 결과

• 경사 하강법, 가우스-뉴턴, 자연 정책 기울기의 세 정책 최적화 방법 모두 MJLS 제어에서 최적의 상태 피드백 제어기로 전역 수렴을 달성한다.
• 초기 제어기가 평균 제곱 안정화 가능한 조건이면 수렴 속도가 선형임을 강력성과 기울기 지배성을 통해 증명한다.
• 수치 실험에서 가우스-뉴턴 방법은 경사 하강법과 자연 정책 기울기보다 훨씬 더 빠르게 수렴한다.
• 자연 정책 기울기와 표준 정책 기울기 방법은 단계 크기 조정에 민감한 반면, 가우스-뉴턴 방법은 헤시안 근사 덕분에 덜 민감하다.
• 100개와 1000개의 상태를 갖는 시스템에 대한 수치 결과는 이론적 수렴 경향을 확인하며, 모드 수가 적은 시스템일수록 더 빠른 수렴이 관찰된다.
• 모델-프리 구현은 가능하며, 충분한 궤적 샘플링이 이루어지고 기울기 추정이 정확할 경우 기대되는 성능을 발휘할 것으로 예상된다.