[論文レビュー] Learning For Predictive Control: A Dual Gaussian Process Approach

Yuhan Liu, Pengyu Wang+1 more|arXiv (Cornell University)|Nov 7, 2022

Advanced Control Systems Optimization被引用数 4

ひとこと要約

本論文は、長期間の履歴知識を保持する長期GPと、未知または時間変動するダイナミクスへのリアルタイムオンライン適応を目的とした短期GPを組み合わせた、二重ガウス過程（DGP）モデル予測制御（MPC）フレームワークを提案する。この手法により、再帰的更新を伴う効率的で忘却に強くないオンライン学習が可能となり、ベースラインおよび単一GP-MPC手法と比較して反復的タスクにおける制御性能が著しく向上し、1回の反復後には追従誤差が最大90％削減される。

ABSTRACT

An important issue in model-based control design is that an accurate dynamic model of the system is generally nonlinear, complex, and costly to obtain. This limits achievable control performance in practice. Gaussian process (GP) based estimation of system models is an effective tool to learn unknown dynamics directly from input/output data. However, conventional GP-based control methods often ignore the computational cost associated with accumulating data during the operation of the system and how to handle forgetting in continuous adaption. In this paper, we present a novel Dual Gaussian Process (DGP) based model predictive control (MPC) strategy that enables efficient use of online learning based predictive control without the danger of catastrophic forgetting. The bio-inspired DGP structure is a combination of a long-term GP and a short-term GP, where the long-term GP is used to keep the learned knowledge in memory and the short-term GP is employed to rapidly compensate unknown dynamics during online operation. Furthermore, a novel recursive online update strategy for the short-term GP is proposed to successively improve the learnt model during online operation. Effectiveness of the proposed strategy is demonstrated via numerical simulations.

研究の動機と目的

• オンラインGPベースのモデル予測制御における深刻な忘却の問題に対処すること。
• データの肥大化を伴わずに、時間変動するシステムの不確実性を効率的かつ再帰的にオンライン学習できること。
• 学習済みの知識を保持しつつ新しいダイナミクスに適応することで、反復的タスクにおける制御性能を向上させること。
• リアルタイム実装に適したスケーラブルで計算的に効率的なGP-MPCフレームワークの開発。
• 未知および時間変動するダイナミクスを扱う際に、二重GP構造が単一GPおよびベースラインMPCを上回ることの実証。

提案手法

• 長期GP（LGP）はオフライン学習から得た履歴知識を保存するのに対し、短期GP（SGP）はオンライン適応を目的として設計された二重GPアーキテクチャを構築。
• SGPは、ストリーミングデータ下でもモデル精度を維持する新しいオンライン更新戦略を用いて再帰的に更新される。
• オンライン運用中にモデル化されていないまたは時間変動するダイナミクスをSGPが補完し、LGPは以前に学習されたダイナミクスを保持する。
• 全体の事後分布は両方のGPを組み合わせることで得られ、長期記憶と短期学習の両方の利点を活かして安定性とロバスト性を確保する。
• 確率的GP予測を用いて不確実性の伝播を処理するモデル予測制御フレームワークに統合される。
• 再訓練を再び行う必要なく、SGP事後分布を効率的に更新する再帰的更新ルールが導出され、計算コストが低減される。

実験結果

リサーチクエスチョン

• RQ1 二重GP構造は、オンラインGPベースの制御における深刻な忘却を効果的に防止できるか？
• RQ2 長期記憶と短期適応の組み合わせが、反復的タスクにおける制御性能にどのように寄与するか？
• RQ3 再帰的オンライン更新が、動的環境下でのGPモデルの精度および収束性に与える影響は何か？
• RQ4 提案されたDGP-MPCは、時間変動する摂動を扱う際に、単一GPおよびベースラインMPCと比較してどのように優れているか？
• RQ5 DGP構造は、最小限の計算コストでオンライン学習ベースのMPCに効果的に適用可能か？

主な発見

• X軸では、DGP-MPCは2回目の反復後に追従誤差0.07×10⁻³を達成し、ベースラインMPC（3.30×10⁻³）と比較して90％の削減を実現した。
• Y軸では、DGP-MPCは2回目の反復後に誤差をベースラインの7.71×10⁻³から0.04×10⁻³にまで低減し、優れた学習効率を示した。
• 最初の10秒間はOGP-MPCがより速い適応を示したが、長期的な安定性と記憶保持性においてDGP-MPCが優れていた。
• 定常および時間変動する風の両状況において、DGP構造はOGPおよびLGPと比較して低い推定誤差（MSE）を維持しており、特にタスクの前半で顕著であった。
• DGP-MPCは、履歴データを保持することで反復的タスクにおける優れた性能を発揮した一方、OGP-MPCは継続的な事後分布の更新により知識の劣化を経験した。
• 提案された再帰的更新戦略により、データの肥大化を伴わず、効果的なオンライン学習が可能となり、計算効率とモデル精度の両立が達成された。