[논문 리뷰] Global Convergence of Policy Gradient Methods for Linearized Control Problems.

Maryam Fazel, Rong Ge외 2명|arXiv (Cornell University)|2018. 02. 15.

Advanced Control Systems Optimization인용 수 29

한 줄 요약

이 논문은 선형 제어 문제, 특히 선형 제곱 조절기(LQR)에 대해 정책 기반 강화 학습 방법의 전역 수렴성과 다항 시간 복잡도 및 샘플 효율성을 확립한다. 모델 기반의 시스템 식별이 필요 없이 모델리스 정책 기반 강화 학습 방법이 최적 정책으로 수렴함을 증명하여, 모델리스 강화 학습과 모델 기반 최적 제어 이론 간의 이론적 격차를 메운다.

ABSTRACT

Direct policy gradient methods for reinforcement learning and continuous control problems are a popular approach for a variety of reasons: 1) they are easy to implement without explicit knowledge of the underlying model 2) they are an end-to-end approach, directly optimizing the performance metric of interest 3) they inherently allow for richly parameterized policies. A notable drawback is that even in the most basic continuous control problem (that of linear quadratic regulators), these methods must solve a non-convex optimization problem, where little is understood about their efficiency from both computational and statistical perspectives. In contrast, system identification and model based planning in optimal control theory have a much more solid theoretical footing, where much is known with regards to their computational and statistical properties. This work bridges this gap showing that (model free) policy gradient methods globally converge to the optimal solution and are efficient (polynomially so in relevant problem dependent quantities) with regards to their sample and computational complexities.

연구 동기 및 목표

• 연속 제어에서 정책 기반 강화 학습 방법의 이론적 이해 부족, 특히 수렴성과 샘플 효율성에 대한 이해를 보완한다.
• 모델리스 정책 기반 강화 학습 방법이 선형 제곱 조절기(LQR) 문제에서 전역 수렴성과 다항 시간 효율성을 달성할 수 있는지 조사한다.
• 모델리스 강화 학습과 모델 기반 최적 제어 간의 이론적 격차를 메우며, 후자의 더 강력한 이론적 보장을 확보한다.
• 정책 기반 강화 학습 방법이 LQR 환경에서 시스템 식별 및 환경 동역학에 대한 명시적 지식 없이도 최적의 성능을 달성할 수 있음을 보여준다.

제안 방법

• 선형 제곱 조절기(LQR)라는 표준 연속 제어 문제의 맥락에서 정책 기반 강화 학습의 업데이트를 분석한다.
• 제어 이득을 직접 최적화할 수 있도록 정책을 선형 피드백 제어기 형태로 매개변수화한다.
• LQR 설정에서 정책 기반 강화 학습의 목적함수가 전역적으로 잘 조율되어 있으며, 잘못된 국소 최적점이 존재하지 않음을 입증한다.
• 정책의 매끄럽고 미분 가능한 매개변수화를 사용하여, 환경의 동역학을 명시적으로 알 필요 없이 기울기 기반 최적화를 가능하게 한다.
• 비볼록 최적화와 제어 이론의 도구를 적용하여 최적값으로의 수렴을 증명한다.
• 필요한 샘플 수와 반복 횟수가 시스템 차원, 조건수 등 문제에 따라 달라지는 양에 대해 다항적으로 증가함을 보여준다.

실험 결과

연구 질문

• RQ1 정책 기반 강화 학습 방법은 선형 제곱 조절기(LQR) 문제에서 최적 정책으로 전역 수렴할 수 있는가?
• RQ2 LQR 환경에서 정책 기반 강화 학습 방법의 샘플 및 계산 복잡도는 어떻게 되는가?
• RQ3 이론적 보장 측면에서 모델리스 정책 기반 강화 학습 방법은 모델 기반 접근법보다 어떻게 비교되는가?
• RQ4 연속 제어 문제에서 정책 기반 강화 학습 방법이 나쁜 국소 최적점들을 피할 수 있는 조건은 무엇인가?
• RQ5 선형화된 제어 문제에서 정책 기반 강화 학습 방법의 수렴성을 다항 샘플 및 시간 복잡도로 증명할 수 있는가?

주요 결과

• 비볼록 목적함수임에도 불구하고 정책 기반 강화 학습 방법은 선형 제곱 조절기(LQR) 문제에서 최적 정책으로 전역 수렴한다.
• 샘플 및 계산 복잡도가 문제에 따라 달라지는 매개변수(예: 시스템 차원, 조건수)에 대해 다항적으로 증가함을 증명하여 효율성이 입증된다.
• LQR에서 정책 기반 강화 학습 목적함수에는 잘못된 국소 최적점이 존재하지 않아 기울기 상승법이 안정적으로 최적값에 도달함을 보장한다.
• 시스템 식별이나 환경 동역학에 대한 명시적 지식 없이도 최적의 성능을 달성할 수 있다.
• 이론적 보장이 모델 기반 최적 제어 방법과 유사하거나 이를 충족함으로써 주요 이론적 격차를 메웠다.
• 결과적으로 모델리스 정책 기반 강화 학습이 선형화된 제어 문제에 대해 실용적일 뿐 아니라 이론적으로도 타당함을 입증한다.