[논문 리뷰] Provably Safe and Robust Learning-Based Model Predictive Control

Anil Aswani, Humberto González외 2명|arXiv (Cornell University)|2011. 07. 13.

Advanced Control Systems Optimization참고 문헌 57인용 수 7

한 줄 요약

이 논문은 성능과 안전성을 분리하여 최적화를 위한 학습된 모델과 불확실성 범위를 갖춘 노미널 모델을 사용함으로써 강건성과 적응성을 확보하는 학습 기반 모델 예측 제어(LBMPC)를 제안한다. 충분한 시스템 자극 조건 하에서 결정론적 안전성과 안정성을 입증하였으며, LBMPC 제어는 확률적으로 진짜 MPC 법칙으로 수렴한다.

ABSTRACT

Controller design faces a trade-off between robustness and performance, and the reliability of linear controllers has caused many practitioners to focus on the former. However, there is renewed interest in improving system performance to deal with growing energy constraints. This paper describes a learning-based model predictive control (LBMPC) scheme that provides deterministic guarantees on robustness, while statistical identification tools are used to identify richer models of the system in order to improve performance; the benefits of this framework are that it handles state and input constraints, optimizes system performance with respect to a cost function, and can be designed to use a wide variety of parametric or nonparametric statistical tools. The main insight of LBMPC is that safety and performance can be decoupled under reasonable conditions in an optimization framework by maintaining two models of the system. The first is an approximate model with bounds on its uncertainty, and the second model is updated by statistical methods. LBMPC improves performance by choosing inputs that minimize a cost subject to the learned dynamics, and it ensures safety and robustness by checking whether these same inputs keep the approximate model stable when it is subject to uncertainty. Furthermore, we show that if the system is sufficiently excited, then the LBMPC control action probabilistically converges to that of an MPC computed using the true dynamics.

연구 동기 및 목표

• 제어 시스템에서 제어기의 강건성과 성능 간의 상충 관계를 해결한다.
• 성능 향상을 위해 학습을 활용하면서도 결정론적 안전성과 안정성을 보장하는 프레임워크를 개발한다.
• 강건성 보장을 해치지 않으면서 통계적 신뢰도 도구를 MPC에 통합한다.
• 증명 가능한 안전성 특성을 유지하면서 다양한 매개수 및 비모수적 학습 방법을 활용할 수 있는 프레임워크를 제공한다.
• 충분한 자극 조건 하에서 LBMPC 제어 법칙이 진짜 동역학을 사용하는 MPC의 제어 법칙으로 수렴하도록 한다.

제안 방법

• 성능과 안전성을 분리하기 위해 학습된 모델을 최적화에 사용하고, 불확실성 범위가 있는 노미널 모델을 강건성 확보에 사용한다.
• 도달 가능성 분석과 강건한 MPC 이론을 활용하여, 불확실성 하에서 노미널 모델이 제어 입력에 의해 안정화됨을 검증한다.
• 학습된 동역학을 기반으로 비용 함수를 최소화하는 LBMPC 최적화 문제를 설정하면서, 강건성 검증을 통해 제약 조건을 강제한다.
• 측정된 데이터를 사용하여 학습된 모델을 업데이트하기 위해 통계 도구—예를 들어 Epanechnikov 커널을 사용하는 L2NW 비모수 추정기—를 적용한다.
• 리아푸노프 함수와 K형 및 KL형 함수를 사용하여 모델링 오차에 대한 공식적인 안정성 및 입력-상태 안정성(ISS)을 확립한다.
• 민코프스키 및 폰트리아긴 집합 연산을 사용하여 불변 집합을 구성함으로써 순환 가능성과 강건한 제약 조건 충족을 보장한다.

실험 결과

연구 질문

• RQ1 학습을 통해 성능을 향상시킬 수 있는가, 동시에 결정론적 안전성과 강건성을 잃지 않고?
• RQ2 통계적 학습 방법을 MPC에 통합하면서도 증명 가능한 강건성 보장을 유지할 수 있는가?
• RQ3 LBMPC 제어 법칙이 진짜 MPC 제어 법칙으로 수렴하는 조건은 무엇인가?
• RQ4 단일 프레임워크가 매개수 및 비모수적 학습 도구를 모두 지원하면서도 이론적 안전성 특성을 유지할 수 있는가?
• RQ5 실제 응용에서 계산 비용과 성능 향상 간의 상충 관계를 어떻게 관리할 수 있는가?

주요 결과

• 학습된 모델이 정확하지 않더라도 노미널 모델의 불확실성 범위를 고려함으로써 LBMPC는 결정론적 강건성과 안정성을 확보한다.
• 시스템이 충분히 자극을 받는 조건 하에서 LBMPC 제어 법칙은 진짜 동역학을 사용하는 MPC의 제어 법칙으로 확률적으로 수렴한다.
• 선형 MPC보다 LBMPC는 운영점으로 더 빨리 수렴하며, 비선형 MPC 수준의 성능를 달성하지만, 단계당 계산 비용이 더 높다 (0.9초 대비 선형 MPC의 0.3초).
• L2NW 비모수 추정기, Epanechnikov 커널 및 국소성 제약 조건을 함께 사용할 경우, 최적화 및 강건성 분석에 필요한 이론적 조건을 충족한다.
• 강건한 MPC 이론에 기반한 불변 집합을 사용함으로써 모델링 오차 상황에서도 순환 가능성과 제약 조건 충족을 유지한다.
• 테스트베드와 시뮬레이션된 제트 엔진 시스템에서의 실험 결과, LBMPC의 성능 향상은 실제 시스템으로도 확장 가능하며, 비선형 모델 지식이 없이도 선형 MPC를 능가한다.