[論文レビュー] Infinite-Horizon Differentiable Model Predictive Control

Sebastian East, Marco Gallieri+3 more|arXiv (Cornell University)|Jan 7, 2020

Advanced Control Systems Optimization参考文献 27被引用数 6

ひとこと要約

本稿では、離散時間代数リカチ方程式（DARE）を用いて閉ループ安定性を保証する微分可能で無限時間ホライズンの線形二次MPCフレームワークを提案する。DARE解の解析的勾配を導出することで、反復学習における勾配ベースの学習を可能にするとともに、増大ラグランジュ法と事前安定化制御を用いてハード制約を強制し、短い予測ホライズンでも安定的かつロバストな制御を実現する。

ABSTRACT

This paper proposes a differentiable linear quadratic Model Predictive Control (MPC) framework for safe imitation learning. The infinite-horizon cost is enforced using a terminal cost function obtained from the discrete-time algebraic Riccati equation (DARE), so that the learned controller can be proven to be stabilizing in closed-loop. A central contribution is the derivation of the analytical derivative of the solution of the DARE, thereby allowing the use of differentiation-based learning methods. A further contribution is the structure of the MPC optimization problem: an augmented Lagrangian method ensures that the MPC optimization is feasible throughout training whilst enforcing hard constraints on state and input, and a pre-stabilizing controller ensures that the MPC solution and derivatives are accurate at each iteration. The learning capabilities of the framework are demonstrated in a set of numerical studies.

研究の動機と目的

• 安全が求められるシステムにおける模倣学習のための、閉ループ安定性を保証する微分可能なMPCフレームワークの開発。
• DARE解の解析的微分を導出することで、MPCのコスト関数に対する勾配ベース最適化を可能にすること。
• 増大ラグランジュ法を用いて、トレーニング中に状態および入力のハード制約を強力に満たすこと。
• 事前安定化線形フィードバック制御を用いて、MPC最適化の数値的精度と条件数を向上させること。
• 短い有限予測ホライズンでも無限時間ホライズンの性能と安定性保証を達成できることを示すこと。

提案手法

• 無限時間ホライズンコストは、離散時間代数リカチ方程式（DARE）の解から導出され、閉ループにおける安定性を保証する。
• 行列微積分を用いてDARE解の解析的微分を導出し、定常解を介したバックプロパゲーションを可能にする。
• QPの条件数とMPC解の数値的精度を向上させるために、事前安定化線形状態フィードバック制御を適用する。
• MPC最適化には増大ラグランジュ法を用い、状態および入力のハード制約を強制し、トレーニング中でも実行可能性を保証する。
• 制御入力の合計は、事前安定化フィードバックからの摂動として計算され、安定性と正確な勾配計算を保証する。
• 微分可能な二次計画法（QP）ソルバを用いて、バックプロパゲーションによるMPCコスト行列のエンドツーエンドトレーニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 離散時間代数リカチ方程式（DARE）の解を、MPCにおける勾配ベース学習を支援する完全な微分可能性にできるか？
• RQ2 制約が活性化している状況下でも、実行可能性と収束性を維持しながら、状態および入力のハード制約をトレーニング中にどのように強制できるか？
• RQ3 MPCにおける短い有限予測ホライズンが、無限時間ホライズンの安定性と性能保証を達成できるか？
• RQ4 事前安定化制御は、MPC最適化および勾配計算の数値的精度と条件数をどのように向上させるか？
• RQ5 微分可能なMPCとDAREに基づく終端コストを用いた模倣学習は、専門家MPC制御器の真のコスト関数をどの程度回復できるか？

主な発見

• 提案手法は、ばね-質量-ダンパー系における真のコスト行列 $ Q $ と $ R $ を効果的に学習し、特に予測ホライズンが長い場合（$ N = 15, 20 $）に模倣損失が低値に収束した。
• 車両プラトー二ングモデルでは、$ N = 5 $ であっても、すべての学習済み制御器が車両間隔のハード制約を満たし、正しい定常状態間隔に収束した。
• 予測ホライズン $ N = 20 $ では予測誤差が最小化され、長期予測の精度と無限時間ホライズンコストの有効な利用が示された。一方、短いホライズンでは制約が活性化している場合に大きな誤差が生じた。
• DARE解の解析的微分により、安定的かつ正確な勾配計算が可能となり、両方のテストケースで局所最適解への収束が達成された。
• 増大ラグランジュ法により、制約が活性化している場合でも厳密な制約満たしと問題の実行可能性が維持された。
• 事前安定化制御はQPの条件数を著しく改善し、MPC解およびその勾配の精度を向上させた。