[논문 리뷰] Neural Lyapunov Model Predictive Control

Mayank Mittal, Marco Gallieri외 3명|arXiv (Cornell University)|2021. 05. 04.

Advanced Control Systems Optimization인용 수 9

한 줄 요약

이 논문은 전문가의 시연 데이터로부터 깊이 신경망 리아푸노프 함수로 작용하는 종료 비용을 학습하는 데이터 기반 신경 리아푸노프 모형 예측 제어(MPC) 프레임워크를 제안한다. MPC 파rameter와 리아푸노프 기반 종료 비용을 반복적으로 개선함으로써, 초기 시연자보다 적어도 동일한 영향력 영역을 보장하며, 모델 불확실성 하에서도 이론적 안정성을 확보하고, 부드러운 제약 조건이 있는 비선형 연속 제어 과제에서 성능을 향상시킨다.

ABSTRACT

With a growing interest in data-driven control techniques, Model Predictive Control (MPC) provides a significant opportunity to exploit the surplus of data reliably, particularly while taking safety and stability into account. In this paper, we aim to infer the terminal cost of an MPC controller from transitions generated by an initial \emph{unknown} demonstrator. We propose an algorithm to alternatively learn the terminal cost and update the MPC parameters according to a stability metric. We design the terminal cost as a Lyapunov function neural network and theoretically show that, under limited approximation error, our proposed approach guarantees that the size of the stability region (region of attraction) is greater than or equal to the one from the initial demonstrator. We also present theorems that characterize the stability and performance of the learned MPC in the presence of model uncertainties and sub-optimality due to function approximation. Empirically, we demonstrate the efficacy of the proposed algorithm on non-linear continuous control tasks with soft constraints. Our results show that the proposed approach can improve upon the initial demonstrator also in practice and achieve better task performance than other learning-based baselines.

연구 동기 및 목표

• 시스템 동역학에 대한 사전 지식 없이 전문가의 시연 데이터로부터 안정화 종료 비용을 학습하는 데이터 기반 MPC 프레임워크를 개발하는 것.
• 종료 비용을 신경망 리아푸노프 함수로 구성하여 이론적 안정성 보장을 확보하는 것.
• 모델 불확실성과 근사 오차가 존재하는 상황에서도 초기 시연자보다 더 넓은 영향력 영역과 성능 향상을 달성하는 것.
• 단지 시연 데이터만을 사용하여 비선형 연속 제어 과제에서 안전하고 안정적인 제어를 가능하게 하는 것.
• 안정성 지표를 사용하여 종료 비용과 MPC 파rameter를 번갈아가며 최적화하는 학습 알고리즘을 제공하는 것.

제안 방법

• MPC의 종료 비용을 깊이 신경망으로 매개변수화하여 안정성을 보장하는 리아푸노프 함수로 기능하게 한다.
• 리아푸노프 이론에서 유도된 안정성 지표를 사용하여, 신경망 종료 비용과 MPC 파rameter를 번갈아가며 업데이트하는 최적화 알고리즘을 적용한다.
• 이론적 분석을 통해 유한한 근사 오차 조건 하에서, 학습된 MPC가 초기 시연자보다 작은 영향력 영역을 보장하지 않는다는 것을 입증한다.
• 함수 근사로 인한 부분 최적화 및 모델 불확실성 하에서도 안정성과 성능 보장을 통합한다.
• 알 수 없는 시연자로부터의 전이 데이터를 기반으로 학습하여, 안정적이고 높은 성능을 보이는 MPC 제어기를 종합적으로 학습한다.
• 왜곡이나 제약 위반 상황에서도 실행 가능한 해를 허용하기 위해 부드러운 제약 조건을 MPC 설정에 통합한다.

실험 결과

연구 질문

• RQ1 전문가의 시연 데이터로부터 신경망 기반 종료 비용 함수를 학습하여, 시스템 지식 없이도 MPC에서 안정성을 확보할 수 있는가?
• RQ2 제안된 학습 알고리즘이 초기 시연자보다 적어도 동일한 영향력 영역을 보장하는가?
• RQ3 리아푸노프 함수의 근사 오차와 모델 불확실성이 존재할 경우, 이 방법은 어떻게 성능을 보이는가?
• RQ4 비선형 제어 과제에서 학습 기반 기준선보다 학습된 MPC 제어기가 성능과 안정성 면에서 뛰어나게 되는가?
• RQ5 신경망 종료 비용으로서 리아푸노프 함수를 사용할 경우, MPC의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 유한한 근사 오차 조건 하에서, 학습된 MPC의 영향력 영역이 초기 시연자보다 작아지지 않음을 보장한다.
• 이론적 분석을 통해 모델 불확실성과 함수 근사로 인한 부분 최적화 하에서도 학습된 MPC의 안정성과 성능 경계가 확인된다.
• 실험 결과는 부드러운 제약 조건이 있는 비선형 연속 제어 과제에서, 학습된 MPC가 초기 시연자보다 더 높은 작업 성능을 보임을 보여준다.
• 시뮬레이션에서 다른 학습 기반 MPC 기준선 대비 안정성과 제어 성능 면에서 본 방법이 뛰어나게 성능을 발휘한다.
• 신경망 리아푸노프 함수는 시연 데이터로부터 시스템의 안정성 특성을 효과적으로 포착하여 안전하고 신뢰할 수 있는 제어를 가능하게 한다.
• 교대로 최적화 과정은 안정성과 성능 사이의 균형을 효과적으로 유지하여 실질적으로 더 빠른 수렴과 강건성을 확보한다.