[論文レビュー] A Convex Approach to Data-driven Optimal Control via Perron-Frobenius and Koopman Operators

Bowen Huang, Umesh Vaidya|arXiv (Cornell University)|Oct 5, 2020

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、Perron-Frobenius (P-F) 確率遷移作用素とKoopman作用素を用いて、非線形システムの凸的でデータ駆動型の最適制御フレームワークを提案する。密度関数とP-F作用素の双対性を活用することで、無限時間ホライズンの最適制御問題を無限次元の凸最適化問題に定式化し、その後、データ駆動型Koopman作用素学習により近似することで、既知のシステムモデルがなくても安定でグローバルに最適な制御を実現する。

ABSTRACT

The paper is about the data-driven computation of optimal control for a class of control affine deterministic nonlinear systems. We assume that the control dynamical system model is not available, and the only information about the system dynamics is available in the form of time-series data. We provide a convex formulation for the optimal control problem of the nonlinear system. The convex formulation relies on the duality result in the dynamical system's stability theory involving density function and Perron-Frobenius operator. We formulate the optimal control problem as an infinite-dimensional convex optimization program. The finite-dimensional approximation of the optimization problem relies on the recent advances made in the Koopman operator's data-driven computation, which is dual to the Perron-Frobenius operator. Simulation results are presented to demonstrate the application of the developed framework.

研究の動機と目的

• システムモデルが未知である非線形システムの最適制御の課題に対処すること。この場合、時系列データにのみ依存する。
• 密度関数の双対空間における最適制御問題の凸的定式化を実現し、計算の効率化を図ること。
• 提案された凸最適化フレームワークにより、閉ループ系のほとんど everywhere 均一安定性を保証すること。
• Koopmanに基づく近似の最新の進展を活用し、P-F作用素とKoopman作用素の双対性を活用してデータ駆動型計算を可能にすること。
• 確率的設定への自然な拡張が可能で、物理的解釈性を持つ有限次元近似をサポートする体系的なフレームワークを提供すること。

提案手法

• リャプノフ関数のアプローチの双対空間として、密度関数の空間における無限次元凸最適化プログラムとして最適制御問題を定式化する。
• 密度関数の時間発展を記述するPerron-Frobenius作用素と、観測量の時間発展を記述するKoopman作用素の双対性を活用し、非線形ダイナミクスを線形で無限次元空間に持ち上げる。
• 1ステップの時系列データからP-F作用素およびKoopman作用素の有限次元近似を計算するために、自然構造的動的モード分解（NSDMD）アルゴリズムを適用する。
• ゼロ入力およびユニットステップ入力の軌道からの時系列データを用いて、作用素の近似を学習し、正値性およびマルコフ性の性質を保持する。
• 原点周辺の領域で、局所的線形制御（例：LQRまたはリャプノフに基づく制御）とグローバルなデータ駆動型制御の間をスイッチングするブレンド制御器を構築する。
• 関数近似にガウス型径路基底関数（RBF）を用い、標準的なソルバー（例：CVX）を用いて、得られた有限次元凸計画問題を解く。

実験結果

リサーチクエスチョン

• RQ1 システムモデルが未知である非線形システムの最適制御問題が、凸最適化問題として定式化可能か。
• RQ2 Perron-Frobenius作用素とKoopman作用素の双対性をどのように活用することで、データ駆動型最適制御を実現できるか。
• RQ3 密度関数およびP-F作用素下でのその時間発展が、安定性と最適性を保証するために果たす役割は何か。
• RQ4 提案されたフレームワークは、既知のシステムモデルがなくてもグローバル最適性と安定性を達成可能か。
• RQ5 正値性およびマルコフ性といった構造的性質を保持しつつ、時系列データからP-F作用素およびKoopman作用素の有限次元近似をどのように計算できるか。

主な発見

• 提案された双対密度空間における凸的定式化により、閉ループ系のほとんど everywhere 均一安定性が保証され、標準的な a.e. 安定性よりも強い条件が満たされる。
• スカラー非線形系 $ \dot{x} = 0.5x^3 + u $ の例において、P-F作用素近似に基づくデータ駆動型制御器は、解析的最適制御と非常に近い結果を示し、状態軌道およびコスト関数値がほぼ同一であった。
• Duffingオシレータ（$ \dot{x}_1 = x_2, \dot{x}_2 = -x_1 - x_1^3 - 0.5x_2 + u $）の例では、225個のRBFと50,000個の初期条件を用い、原点を安定化させた。シミュレーション時間は5分未満であった。
• 3次元Van der Polオシレータでは、512個のRBFと50,000個の初期条件を用いてシステムを安定化させ、高次元系へのスケーラビリティを示した。
• NSDMDアルゴリズムは、有限次元近似の過程でP-F作用素およびKoopman作用素の正値性およびマルコフ性を効果的に保持し、物理的整合性を保証した。
• P-F作用素およびKoopman作用素の近似から最適制御合成までの計算パイプライン全体が、MATLABおよびCVXを用いて1例あたり5分未満で完了した。これは、計算上の実行可能性を示している。