[論文レビュー] KPC: Learning-Based Model Predictive Control with Deterministic Guarantees

Emilio T. Maddalena, Paul Scharnhorst+2 more|arXiv (Cornell University)|Nov 23, 2020

Advanced Control Systems Optimization参考文献 32被引用数 11

ひとこと要約

KPCは、非パラメトリックなカーネル回帰を用いた学習ベースのモデル予測制御フレームワークを提案し、決定論的な安全保証を達成する。有限標本誤差バウンドとロバスト最適化を活用することで、ノイズが混在するが有界なデータに対しても状態制約が満たされることを保証し、オンラインでの緩和により保守的でない制御を実現しながらも安全を維持する。

ABSTRACT

We propose Kernel Predictive Control (KPC), a learning-based predictive control strategy that enjoys deterministic guarantees of safety. Noise-corrupted samples of the unknown system dynamics are used to learn several models through the formalism of non-parametric kernel regression. By treating each prediction step individually, we dispense with the need of propagating sets through highly non-linear maps, a procedure that often involves multiple conservative approximation steps. Finite-sample error bounds are then used to enforce state-feasibility by employing an efficient robust formulation. We then present a relaxation strategy that exploits on-line data to weaken the optimization problem constraints while preserving safety. Two numerical examples are provided to illustrate the applicability of the proposed control method.

研究の動機と目的

• 未知で複雑なダイナミクスを有するシステムにおける学習ベース制御の安全確保という課題に取り組む。
• パラメトリックモデルや確率的不確実性評価に依存する従来のMPCの限界を克服する。
• カーネル回帰からの有限標本誤差バウンドを用いて、決定論的かつ確率論的でない安全保証を提供する。
• 状態制約を安全に満たすロバスト最適化定式化を構築し、保守的な集合伝播を回避する。
• リアルタイムデータを活用して制約を緩和するオンライン緩和戦略を導入し、保守的でない制御を実現する。

提案手法

• ノイズが混在するが有界なデータサンプルから、1ステップおよび複数ステップのシステムダイナミクスを非パラメトリックなカーネルリッジ回帰（KRR）で学習する。
• 有限標本誤差バウンド（Maddalenaら、2020年）を用いて、決定論的かつ確率論的でない方法でモデル不確実性を定量化する。
• 誤差バウンドから導出された不確実性集合を組み込むことで、状態制約を強制するロバストMPC最適化問題を定式化する。
• 予測ノルムに増幅係数（例：150–300％）を適用して、未探索領域やモデルの複雑さに対応する。
• リアルタイムデータを活用して制約を緩和するオンライン緩和戦略を導入し、保守的でない制御を実現しながらも安全を維持する。
• 安定性を確保するため、適応的長さスケールを有する平方指数カーネルと、標準的な二次コスト関数に終端ペナルティを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 確率的不確実性モデルに依存せずに、学習ベースMPCで決定論的かつ安全保証を達成できるか？
• RQ2 カーネル回帰からの有限標本誤差バウンドを効果的にMPCにおける状態制約の強制に活用できるか？
• RQ3 オンラインデータの活用が、ロバストMPCにおける保守的でない制御を実現するにあたり、安全を維持しながらどのように保守的でない制御を実現できるか？
• RQ4 提案手法は、データセットサイズや予測ホライズンの増大に伴い、どのようにスケーリングするか？
• RQ5 安全性および制約満たしの観点で、標準的な確信性等価MPCを上回る性能を示せるか？

主な発見

• KPCは閉ループ動作において決定論的制約満たしを保証しており、数値例でも制約違反が一切認められなかった。
• 二重積分器の例では、すべてのKPC予測と信頼集合が、すべての時間インスタンスおよび初期条件において可能な集合X内に留まった。
• 振り子の例では、名目的なカーネル-MPCが状態制約 $x_2 \to -1$ を違反したが、KPCは不確実性を考慮した制約により安全を維持した。
• 予測ノルムに増幅係数（150–300％）を適用することで、未探索領域におけるロバストネスが向上し、モデルの複雑さを効果的に捉えることができた。
• オンライン緩和戦略は、安全を損なうことなく制約の保守的でない性質を成功裏に低減した。振り子の例では、よりタイトな軌道が得られた。
• 本手法は、大きなデータセットに対してもスケーラブルであることが示されたが、非常に大きなDでは計算複雑性が依然として懸念事項である。