[논문 리뷰] Meta Learning MPC using Finite-Dimensional Gaussian Process Approximations

Elena Arcari, Andrea Carron외 1명|arXiv (Cornell University)|2020. 08. 13.

Advanced Control Systems Optimization인용 수 7

한 줄 요약

이 논문은 유한 차원의 가우시안 프로세스 근사법을 사용하여, 새로운 조건에 대해 빠르고 데이터 효율적으로 적응할 수 있도록 하는 메타학습 기반의 적응형 모델 예측 제어(MPC) 접근법을 제안한다. 커널 고유함수의 카르누엔-로브 전개를 통해 역학을 모델링함으로써, 이 방법은 사전에 초깃값을 설정하고, 테스트 시에는 베이지안 선형 회귀를 통해 선형 계수만 온라인으로 적응시킴으로써 낮은 복잡도의 추론과 강력한 일반화 성능을 달성한다. 미니어처 레이스카 제어에서 변화하는 도로 조건 하에서도 거의 최적에 가까운 성능을 보이며, 빠른 적응이 가능하다.

ABSTRACT

Data availability has dramatically increased in recent years, driving model-based control methods to exploit learning techniques for improving the system description, and thus control performance. Two key factors that hinder the practical applicability of learning methods in control are their high computational complexity and limited generalization capabilities to unseen conditions. Meta-learning is a powerful tool that enables efficient learning across a finite set of related tasks, easing adaptation to new unseen tasks. This paper makes use of a meta-learning approach for adaptive model predictive control, by learning a system model that leverages data from previous related tasks, while enabling fast fine-tuning to the current task during closed-loop operation. The dynamics is modeled via Gaussian process regression and, building on the Karhunen-Lo{\\`e}ve expansion, can be approximately reformulated as a finite linear combination of kernel eigenfunctions. Using data collected over a set of tasks, the eigenfunction hyperparameters are optimized in a meta-training phase by maximizing a variational bound for the log-marginal likelihood. During meta-testing, the eigenfunctions are fixed, so that only the linear parameters are adapted to the new unseen task in an online adaptive fashion via Bayesian linear regression, providing a simple and efficient inference scheme. Simulation results are provided for autonomous racing with miniature race cars adapting to unseen road conditions.

연구 동기 및 목표

• 데이터 기반 모델 예측 제어(MPC)에서 높은 계산 복잡도와 제한된 일반화 능력 문제를 해결하기 위해.
• 유사한 작업들 간의 메타학습을 활용하여, 도로 조건 변화와 같은 새로운 작업들에 대해 효율적인 적응을 가능하게 하기 위해.
• 테스트 시 전체 GP 회귀를 피하는 방식으로 기저 함수를 고정하고 선형 계수만 온라인으로 적응시킴으로써 저복잡도 추론 체계를 개발하기 위해.
• 고유함수가 닫힌 형태로 제공되지 않는 경우를 고려해, 추가 초깃값(예: 회귀기용 입력 위치)을 최적화함으로써 메타학습을 확장하기 위해.

제안 방법

• 카르누엔-로브 전개를 통해 커널 고유함수의 유한 선형 조합을 사용하여 전체 가우시안 프로세스(GP) 동역학 모델을 근사한다.
• 관련 작업 집합에 대한 로그-가장우도의 변분 경계를 최적화하여, 고유함수의 초깃값을 메타학습한다.
• 메타테스트 기간 동안 고유함수를 고정하고, 각 시간 단계에서 베이지안 선형 회귀를 통해 선형 계수만 온라인으로 적응시킨다.
• 학습률과 노이즈 분산을 사용한 순차적 평균 갱신 규칙을 통해 효율적인 온라인 파rameter 적응을 수행한다.
• 고유함수가 닫힌 형태로 제공되지 않을 경우 추가 초깃값(예: 회귀기용 입력 위치)을 최적화할 수 있도록 지원한다.
• 실시간 제어를 위해 온라인 파arameter 업데이트와 함께 닫힌 루프에서 모델 예측 컨투어링 제어기(MPCC)를 사용한다.

실험 결과

연구 질문

• RQ1 유한 차원 GP 근사법에 기반한 메타학습 프레임워크가 MPC에서 새로운 제어 조건에 대해 빠른 적응을 가능하게 하는가?
• RQ2 정확도와 계산 효율성 측면에서 제안된 방법의 성능가 정확한 GP 기반 및 신경망 기반 메타학습 접근법과 비교해 볼 때 어떻게 되는가?
• RQ3 재학습 없이도, 타이어 마찰 계수 변화와 같은 새로운 도로 조건에 대해 얼마나 잘 일반화되는가?
• RQ4 메타학습 기간 동안 기저 함수의 초깃값을 최적화하는 것이 고정된 설정보다 성능 향상에 기여하는가?
• RQ5 선형 계수만 온라인으로 적응시킴으로써 저복잡도 추론을 달성하면서도 높은 제어 정확도를 유지할 수 있는가?

주요 결과

• 제안된 MMPC 방법은 첫 번째 랩에서 누적 RMSE 약 2.5×10⁻²를 기록하여, 기준값 MPCC와 유사한 성능를 보이며, 시뮬레이션에서 기준 방법들보다 유의미하게 낮은 수준을 기록한다.
• Alpaca라는 신경망 기반 메타학습 방법에 비해 학습 가능한 파arameter 수를 약 100배 감소시켰지만, 성능는 동일하거나 이를 초월한다.
• 접지력 변화 조건에 대해 빠른 적응을 보이며, 트랙의 후반부에서 성능이 36% 향상되어 기준 제어기와 매우 유사한 궤적 추적 성능을 달성한다.
• 메타테스트 시 정확한 GP를 사용하는 MMPC-GP의 성능는 MMPC와 거의 동일하여, 유한 차원 근사법이 효과적임을 시사한다.
• 기저 함수의 초깃값(예: 입력 위치)을 메타학습 기간에 최적화함으로써 고정 설정 대비 성능 향상이 이루어지며, 이는 메타학습이 사전에 수행된다는 점을 감안할 때도 성립한다.
• 선형 계수만 온라인으로 적응시키는 추론 체계는 임베디드 플랫폼에 적합한 계산 가능성을 보장한다.