[論文レビュー] Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects.

Fernando Castañeda, Jason J. Choi+3 more|arXiv (Cornell University)|Nov 14, 2020

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、制御アフィン系の不確実なダイナミクスに対して、ガウス過程回帰と制御リャプノフ関数（CLF）を統合することで、凸最適化に基づくコントローラーを提案する。複合カーネルを導入して状態と入力の不確実性を同時にモデル化し、GPの上側信頼区間を用いて確率的安定性を保証する確率的制約付き最小ノルム問題を定式化し、凸なGP-CLF-SOCP定式化により、真のダイナミクスに近い性能を示すシミュレーションで検証された、保証された安定性を有するコントローラーを実現する。

ABSTRACT

This paper presents a method to design a min-norm Control Lyapunov Function (CLF)-based stabilizing controller for a control-affine system with uncertain dynamics using Gaussian Process (GP) regression. We propose a novel compound kernel that captures the control-affine nature of the problem, which permits the estimation of both state and input-dependent model uncertainty in a single GP regression problem. Furthermore, we provide probabilistic guarantees of convergence by the use of GP Upper Confidence Bound analysis and the formulation of a CLF-based stability chance constraint which can be incorporated in a min-norm optimization problem. We show that this resulting optimization problem is convex, and we call it Gaussian Process-based Control Lyapunov Function Second-Order Cone Program (GP-CLF-SOCP). The data-collection process and the training of the GP regression model are carried out in an episodic learning fashion. We validate the proposed algorithm and controller in numerical simulations of an inverted pendulum and a kinematic bicycle model, resulting in stable trajectories which are very similar to the ones obtained if we actually knew the true plant dynamics.

研究の動機と目的

• 入力ダイナミクスが不確実で部分的にしか分かっていない状況において、制御アフィン系を安定化する課題に対処すること。
• 状態と入力に依存する不確実性を1つのGP回帰モデルで捉えるデータ効率の良い学習フレームワークを構築すること。
• GPの上側信頼区間と確率的制約を用いて、コントローラーの確率的収束保証を提供すること。
• 最小ノルム入力を保証するとともに、不確実性下でも安定性を維持する凸最適化問題—GP-CLF-SOCP—を定式化すること。
• 実際のダイナミクスを想定したシミュレーションでコントローラーの性能を検証し、真のダイナミクスが分かっている場合に近い安定性を示すこと。

提案手法

• 制御アフィン構造を符号化する新しい複合カーネルを提案し、1つのGP回帰で状態と入力依存のモデル不確実性を同時に推定可能にする。
• 学習済みダイナミクスの不確実性を定量化するためにGPの上側信頼区間を用い、確率的安定性保証を可能にする。
• 最小ノルム最適化問題に確率的制約付き制御リャプノフ関数（CLF）条件を組み込み、高い確率で安定性を確保する。
• 安定性と制御最小化問題を二次錐計画法（SOCP）として再定式化し、凸性を保ちながらオンライン最適化を容易にする。
• データ収集と繰り返しのGPモデル再訓練を可能にするエピソード型学習フレームワークを採用する。
• 各時刻で得られたGP-CLF-SOCPを解き、不確実性下でも最小ノルムで安定化する制御入力を計算する。

実験結果

リサーチクエスチョン

• RQ1 1つのGP回帰モデルが、制御アフィン系において状態と入力に依存する不確実性を効果的に捉えられるか？
• RQ2 GPに基づく不確実性定量化をどのように制御リャプノフ関数と統合し、確率的安定性を確保できるか？
• RQ3 モデル不確実性下で最小ノルム制御と確率的制約付き安定性を組み合わせた凸最適化問題を定式化できるか？
• RQ4 真のダイナミクスが不明でもGP回帰で推定された場合、得られたコントローラーの性能はいかがなものか？
• RQ5 エピソード型学習プロセスは、時間経過とともにコントローラーの収束性と安定性をどのように向上させるか？

主な発見

• 提案されたGP-CLF-SOCP定式化は凸最適化問題となり、効率的かつ信頼性の高いオンライン制御計算を可能にする。
• 倒立振子と運動学的自転車モデルの両方で、真のダイナミクスが分かっている場合に近い性能を示す安定な軌道を達成した。
• 複合カーネルの使用により、状態と入力の不確実性を高精度に同時にモデル化でき、別々にモデル化する手法よりも推定の正確性が向上した。
• GP上側信頼区間解析を用いた確率的収束保証が可能で、不確実性下でも高い確率で安定性を確保した。
• エピソード型学習プロセスにより、時間経過とともにモデルの正確性が向上し、制御性能の向上と推定ダイナミクスの不確実性低減が達成された。
• 低コストの制御努力（最小ノルム）を維持しながら安定性を確保したため、性能と耐障害性の良好なトレードオフが実現された。