[論文レビュー] Second-Order Sampling-Based Stability Guarantee for Data-Driven Control Systems

Yuji Ito, Kenji Fujimoto|arXiv (Cornell University)|Jul 19, 2017

Advanced Control Systems Optimization参考文献 13被引用数 5

ひとこと要約

本稿では、非線形システムの安定でデータ駆動型制御を可能にするために、ガウスカーネルに基づく関数に対する2次サンプリングに基づく境界を提案する。安定性不等式における$O(\tau^2)$の境界を活用し、非線形最適制御理論と統合することで、1次手法と比較して著しく計算複雑性が低い、ガウス過程ダイナミクスにおける安定化（準）最適制御器を設計する。

ABSTRACT

This study presents a sampling-based method to guarantee robust stability of general control systems with uncertainty. The method allows the system dynamics and controllers to be represented by various data-driven models, such as Gaussian processes and deep neural networks. For nonlinear systems, stability conditions involve inequalities over an infinite number of states in a state space. Sampling-based approaches can simplify these hard conditions into inequalities discretized over a finite number of states. However, this simplification requires margins to compensate for discretization residuals. Large margins degrade the accuracy of stability evaluation, and obtaining appropriate margins for various systems is challenging. This study addresses this challenge by deriving second-order margins for various nonlinear systems containing data-driven models. Because the size of the derived margins decrease quadratically as the discretization interval decreases, the stability evaluation is more accurate than with first-order margins. Furthermore, this study designs feedback controllers by integrating the sampling-based approach with an optimization problem. As a result, the controllers can guarantee stability while simultaneously considering control performance.

研究の動機と目的

• データ駆動型制御システムにおける安定性を保証する課題、特にガウス過程（GP）ベースのダイナミクスに対して対処すること。
• 状態空間全体にわたる無限大の安定性条件を評価する計算負荷の問題を克服すること。
• 事前に定義された制御則を必要とせず、安定化制御則を同時に設計できる手法を開発すること。
• GPベースの関数の2次境界を非線形最適制御理論と統合し、安定性の証明を可能にすること。

提案手法

• ガウスカーネルに基づく関数$\Phi(x)$（多項式、GPs、ガウス混合、およびそれらの和・積を含む）に対する2次$O(\tau^2)$の境界を導出する。
• 距離$\tau$のサンプリング状態を用いて、連続区分線形（CPA）手法を適用し、$\Phi(x)$のタイトな上界および下界を計算する。
• 導出された境界をリャプノフ不等式およびハミルトニアン・ジャコビ・ベルマン（HJB）方程式に統合し、安定性解析に応用する。
• 勾配法による最適化が可能になるよう、値関数$\hat{V}(x;\alpha)$をカーネル展開としてパrameterizeする。
• 勾配に基づく最適化スキームを用いて、安定性条件を満たす制御則パrameter$\alpha$を学習する。
• 線形化LQRに基づく正則化および初期化戦略を採用し、収束性および安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 2次境界は、GPベースの制御システムにおける安定性の証明に必要なサンプル数を、1次手法と比較してどれほど削減できるか？
• RQ2 事前に定義された制御則を仮定せずに、GPダイナミクスに対して直接安定化（準）最適制御則を設計する方法は何か？
• RQ3 $O(\tau^2)$境界は、安定性検証において1次$O(\tau)$境界と比較して、計算効率をどの程度向上させるか？
• RQ4 提案手法は、大部分の状態空間で安定性を保証しつつ、準最適性能を維持できるか？
• RQ5 安定性保証のない初期制御則と比較して、制御則の性能はどのように異なるか？

主な発見

• 提案手法は、1次手法と比較して著しく必要なサンプル数を削減する$O(\tau^2)$の安定性不等式の境界を達成した。
• 提案された制御則は、状態空間の大部分を安定化しており、シミュレーション結果では原点付近に小さな不安定領域が存在する。
• 初期制御則は広範な不安定領域を示すが、提案手法の制御則は状態空間の大部分を安定化しており、安定性プロットにおける白色領域から確認できる。
• 導出された$O(\tau^2)$推定値を用いて、値関数$\hat{V}(x;\alpha)$および微分項$H_{\dot{V}}$が効果的に境界付けられ、安定性の証明が可能になった。
• 線形化LQRに基づく初期化を用い、441個のサンプル状態上で10,000イテレーションにわたり勾配降下法により制御則が成功裏に最適化された。
• 一般形$\Phi(x) = \sum_j c_j \Phi_j(x)$を介して、GPの平均および分散、多項式、ガウス混合モデルなど、さまざまな関数に広く適用可能である。