[논문 리뷰] Learning For Predictive Control: A Dual Gaussian Process Approach

Yuhan Liu, Pengyu Wang외 1명|arXiv (Cornell University)|2022. 11. 07.

Advanced Control Systems Optimization인용 수 4

한 줄 요약

이 논문은 장기적 지식을 유지하는 장기 GP와 시간에 따라 변하는 동역학에 실시간으로 적응하는 단기 GP를 조합한 이중 가우시안 프로세스(Dual Gaussian Process, DGP) 기반 예측 제어(MPC) 프레임워크를 제안한다. 이 방법은 재귀적 업데이트를 통해 효율적이고 망각에 강한 온라인 학습을 가능하게 하며, 기준 모델 및 단일 GP-MPC에 비해 반복 작업에서 제어 성능을 크게 향상시킨다. 한 번의 반복 후 추적 오차가 최대 90% 감소하는 결과를 얻었다.

ABSTRACT

An important issue in model-based control design is that an accurate dynamic model of the system is generally nonlinear, complex, and costly to obtain. This limits achievable control performance in practice. Gaussian process (GP) based estimation of system models is an effective tool to learn unknown dynamics directly from input/output data. However, conventional GP-based control methods often ignore the computational cost associated with accumulating data during the operation of the system and how to handle forgetting in continuous adaption. In this paper, we present a novel Dual Gaussian Process (DGP) based model predictive control (MPC) strategy that enables efficient use of online learning based predictive control without the danger of catastrophic forgetting. The bio-inspired DGP structure is a combination of a long-term GP and a short-term GP, where the long-term GP is used to keep the learned knowledge in memory and the short-term GP is employed to rapidly compensate unknown dynamics during online operation. Furthermore, a novel recursive online update strategy for the short-term GP is proposed to successively improve the learnt model during online operation. Effectiveness of the proposed strategy is demonstrated via numerical simulations.

연구 동기 및 목표

• 온라인 GP 기반 예측 제어에서 치명적인 망각 문제를 해결하기 위해.
• 데이터 팽창 없이 시간에 따라 변하는 시스템 불확실성을 효율적이고 재귀적으로 온라인 학습할 수 있도록 하기 위해.
• 기존에 학습한 지식을 유지하면서 새로운 동역학에 적응함으로써 반복 작업에서의 제어 성능을 향상시키기 위해.
• 실시간 구현에 적합한 확장성 있고 계산적으로 효율적인 GP-MPC 프레임워크를 개발하기 위해.
• 이중 GP 구조가 단일 GP 및 기준 MPC에 비해 시간에 따라 변하는 동역학을 다룰 때 우수한 성능을 보임을 입증하기 위해.

제안 방법

• 장기 GP(LGP)는 오프라인 훈련을 통해 얻은 이전 지식을 저장하고, 단기 GP(SGP)는 온라인 적응을 위해 설계된 이중 GP 아키텍처를 구성한다.
• SGP는 스트리밍 데이터 상황에서도 모델 정확도를 유지하는 데 중점을 둔 새로운 온라인 업데이트 전략을 통해 재귀적으로 업데이트된다.
• SGP는 온라인 운영 중 모델링되지 않은 또는 시간에 따라 변하는 동역학을 보완하며, LGP는 이전에 학습된 동역학을 유지한다.
• 전체 사후 분포는 두 GPs를 조합하여 안정성과 강건성을 확보하며, 장기 기억과 단기 학습의 이점을 모두 활용한다.
• 이 방법은 예측 제어 프레임워크에 통합되었으며, 불확실성 전파가 확률적 GP 예측을 통해 처리된다.
• 재훈련이 필요 없이 SGP 사후 분포를 효율적으로 업데이트할 수 있는 재귀적 업데이트 규칙이 유도되어 계산 비용을 절감한다.

실험 결과

연구 질문

• RQ1 이중 GP 구조는 온라인 GP 기반 제어에서 치명적인 망각을 효과적으로 방지할 수 있는가?
• RQ2 장기 기억과 단기 적응의 조합이 반복 작업에서 제어 성능을 어떻게 향상시키는가?
• RQ3 재귀적 온라인 업데이트가 동적 환경에서 GP 모델의 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ4 제안된 DGP-MPC는 시간에 따라 변하는 외란을 다룰 때 단일 GP 및 기준 MPC에 비해 어떻게 우월한가?
• RQ5 DGP 구조는 최소한의 계산 오버헤드로 온라인 학습 기반 MPC에 효과적으로 적용될 수 있는가?

주요 결과

• 두 번째 반복 후 X축에서 DGP-MPC는 추적 오차 0.07×10⁻³을 달성하여 기준 MPC(3.30×10⁻³) 대비 90% 감소한 결과를 보였다.
• Y축에서는 기준 모델의 오차 7.71×10⁻³이 두 번째 반복 후 0.04×10⁻³으로 감소하여 높은 학습 효율성을 입증했다.
• 초기 10초 동안 OGP-MPC는 더 빠른 적응 덕분에 DGP-MPC보다 우수한 성능를 보였지만, 장기적으로는 DGP-MPC가 더 뛰어난 안정성과 기억 유지 능력을 확보했다.
• 고정 및 시간에 따라 변하는 바람 단계 모두에서 DGP 구조는 OGP 및 LGP보다 낮은 추정 오차(MSE)를 유지했으며, 특히 작업의 첫 번째 반절에서 두드러진 성능을 보였다.
• DGP-MPC는 이전 데이터를 유지함으로써 반복 작업에서 뛰어난 성능을 달성했고, OGP-MPC는 지속적인 사후 업데이트로 인해 지식 손실 문제를 겪었다.
• 제안된 재귀적 업데이트 전략은 데이터 팽창 없이 효과적인 온라인 학습을 가능하게 하였으며, 계산 효율성과 모델 정확도를 유지했다.