[논문 리뷰] Combining Model-Based and Model-Free Methods for Nonlinear Control: A Provably Convergent Policy Gradient Approach

Guannan Qu, Chenkai Yu외 2명|arXiv (Cornell University)|2020. 06. 12.

Iterative Learning Control Systems참고 문헌 49인용 수 11

한 줄 요약

이 논문은 비선형 시스템에 대해 모델 기반 및 모델리스 방법을 융합하는 하이브리드 제어 프레임워크를 제안한다. 선형 모델 기반 제어기로 모델리스 정책 그래เดียน트 방법의 초기값을 제공함으로써, 비선형 성분에 대한 온건한 조건 하에서 거의 전역 최적의 제어기로 수렴함을 보장한다. 이 방법은 모델 기반 제어의 샘플 효율성과 모델리스 학습의 유연성을 융합한다.

ABSTRACT

Model-free learning-based control methods have seen great success recently. However, such methods typically suffer from poor sample complexity and limited convergence guarantees. This is in sharp contrast to classical model-based control, which has a rich theory but typically requires strong modeling assumptions. In this paper, we combine the two approaches to achieve the best of both worlds. We consider a dynamical system with both linear and non-linear components and develop a novel approach to use the linear model to define a warm start for a model-free, policy gradient method. We show this hybrid approach outperforms the model-based controller while avoiding the convergence issues associated with model-free approaches via both numerical experiments and theoretical analyses, in which we derive sufficient conditions on the non-linear component such that our approach is guaranteed to converge to the (nearly) global optimal controller.

연구 동기 및 목표

• 모델리스 제어의 한계, 특히 비선형 시스템에서의 열악한 샘플 복잡도와 수렴 보장 부족 문제를 해결하기 위해.
• 강한 파rametric 가정에 의존하고 모델 정확도가 떨어지면 실패하는 모델 기반 제어의 단점을 극복하기 위해.
• 비선형 제어에서 모델 기반 및 모델리스 접근법을 이론적으로 통합하여 샘플 효율성과 수렴 보장의 이중 목표를 달성하기 위해.
• 하이브리드 정책 그래디언트 방법이 거의 전역 최적의 제어기로 수렴할 수 있는 충분한 조건을 설정하기 위해.

제안 방법

• 시스템은 선형 성분(모델 기반 제어에 적합)과 비모수적 비선형 성분의 합으로 모델링된다.
• 시스템의 선형 부분을 이용해 모델 기반 상태 피드백 제어기를 먼저 설계하며, 이는 정책 그래디언트 방법의 온전한 초기값으로 기능한다.
• 그 후, 전체 비선형 시스템에 대해 정책 그래디언트 방법을 적용하며, 모델 기반 제어기에서 초기화한다.
• 이론적 분석을 통해 모델 기반 제어기가 전역 최소값을 포함하는 볼록 영역 내에 존재함을 보여준다.
• 기울기 추정은 제어기 이득 행렬에 대한 무작위 편향을 사용한 제로계수 차분 근사법을 사용한다.
• 기울기의 리프시츠 연속성과 비용 함수의 유계성 조건 하에서, 호프딩 부등식을 통해 높은 확률로 수렴이 증명된다.

실험 결과

연구 질문

• RQ1 모델 기반 및 모델리스 방법을 융합하여 비선형 제어에서 샘플 효율성과 수렴 보장을 동시에 달성할 수 있는가?
• RQ2 비선형 성분에 대해 어떤 조건이 하이브리드 정책 그래디언트 방법이 거의 전역 최적의 제어기로 수렴하게 하는가?
• RQ3 모델 기반 제어기에서 온전한 초기값을 제공하는 것이 수렴에 필수적인가, 아니면 모델리스 방법이 사전 모델 정보 없이도 수렴할 수 있는가?
• RQ4 비선형 시스템의 상태 피드백 제어기 공간에서 비용 함수의 형태는 어떻게 되는가?

주요 결과

• 모델 기반 제어기가 전역 최소값을 포함하는 볼록 영역 내에 위치하며, 이는 온전한 초기값으로 사용될 경우 수렴을 보장한다.
• 수치 실험에서 순수 모델 기반 제어보다 우수한 성능를 보이며, 순수 모델리스 방법의 수렴 문제를 피한다.
• 궤도 감쇠성과 비용의 유계성 조건 하에서, 호프딩 부등식을 통해 기울기 추정 오차가 높은 확률로 유계가 됨을 보여준다.
• 비선형 성분에 대한 충분한 조건—특히 기울기의 유계성과 리프시츠 연속성—이 거의 전역 최적의 제어기로의 수렴을 보장한다.
• 궤도 수와 편향 수에 대한 명시적 샘플 복잡도 한계 하에서, 높은 확률로 수렴이 달성된다.