[論文レビュー] A para-model agent for dynamical systems

Loïc Michel|arXiv (Cornell University)|Feb 21, 2012

Extremum Seeking Control Systems参考文献 26被引用数 5

ひとこと要約

本稿では、標準的なモデルフリー制御を一般化し、非線形力学系の同時安定化と極値探索最適化を実現する、モデルフリーで微分を必要としない制御フレームワーク、パラモデルエージェント（PMA）を提案する。数値微分の代わりに初期化関数を導入し、再帰的内部更新を組み込むことで、スイッチング・非最小位相・非線形系に対してもロバストな制御を可能にするとともに、勾配計算なしに最適作動点へ誘導する。

ABSTRACT

Consider a dynamical system $u \mapsto x, \dot{x} = f_{nl}(x,u)$ where $f_{nl}$ is a nonlinear (convex or nonconvex) function, or a combination of nonlinear functions that can eventually switch. We present, in this preliminary work, a generalization of the standard model-free control, that can either control the dynamical system, given an output reference trajectory, or optimize the dynamical system as a derivative-free optimization based "extremum-seeking" procedure. Multiple applications are presented and the robustness of the proposed method is studied in simulation.

研究の動機と目的

• 明示的なシステムモデルを必要とせず、非線形・スイッチング・非最小位相力学系を扱えるモデルフリー制御の拡張を目的とする。
• 出力リファレンス軌道を再定義することで、勾配計算なしに極値探索制御を実現する勾配フリー最適化戦略の開発を目的とする。
• 数値微分計算の代わりに初期化関数を導入することで、不安定またはスイッチング系の制御におけるロバスト性を向上させることを目的とする。
• 機械的・電気的・生物学的・ヒステリシス系を含む多様な応用分野において、PMAの性能を検証することを目的とする。
• 今後の研究において、PMAコントローラーの理論的安定性解析の基盤を築くこと。

提案手法

• PMAコントローラーは、離散時間制御則として定義され、内部状態 $ u_k^i $ が指数関数的リファレンス関数 $ k_α e^{-k_β k} $ に基づいて再帰的に更新される。これにより、古典的なモデルフリー制御における数値微分が置き換えられる。
• 制御入力 $ u_k $ は、内部積分項 $ ⋯ $ と、追従誤差 $ \varepsilon_{k-1} = y^*_k - y_{k-1} $ を含むフィードバック項の積として計算され、ゲイン $ K_p $ と $ K_i $ が用いられる。
• スイッチング系や不安定系において特に有効なロバスト性を向上させるために、初期化関数 $ k_α e^{-k_β k} $ が導入され、内部状態の滑らかなリファレンス軌道が提供される。
• 出力 $ y $ がリファレンス $ y^* $ に近づく閉ループ制御スキームが採用され、極値探索モードでは $ y^* $ が再定義され、システムを最小値へ誘導する。
• 最適化の目的では、出力リファレンス $ y^* $ が非線形関数 $ f_{nl}(x) $ の最小値に従うように設計され、勾配計算なしに最適解への収束を実現する。
• 非動的関数に最小限の動的特性を付与するために、線形フィルタ $ Q $ が選択的に使用可能であるが、$ f_{nl} $ が既に動的であれば必須ではない。

実験結果

リサーチクエスチョン

• RQ1 PMAコントローラーは、明示的なシステムモデルや微分を必要とせず、非線形・スイッチング・非最小位相系を安定化できるか？
• RQ2 初期化関数 $ k_\alpha e^{-k_\beta k} $ の導入により、従来の数値微分に基づくモデルフリー制御と比較して、ロバスト性がどのように向上するか？
• RQ3 出力リファレンス軌道を再定義することで、システムを最小値へ誘導するという戦略により、PMAがどれほど勾配フリー最適化を実現できるか？
• RQ4 PMAは、モーター制御・弾道系・HIV-1モデリング・磁気ヒステリシス制御といった実世界の応用分野で、どのように性能を発揮するか？
• RQ5 非凸的かつ制約付き最適化問題において、PMAが最適解への収束を保証する条件は何か？

主な発見

• PMAは $ dq $ フレームにおける三相モーター制御に成功し、非線形電気系へのロバスト性を示した。
• PMAはスイッチング非最小位相系、特にエプスタインフレームに対しても安定化を実現した。2016年フランス電気工学シンポジウムで実験的検証が行われた。
• 極値探索モードでは、1次元凸関数 $ (x-30)^2 $ の最小値に収束し、最適解から遠い初期条件からでも収束が観察された。
• 時間変動する最小値、例えば $ (x-30)^2 \to (x-40)^2 $ が未知の時刻 $ t_1 $ で変化する場合、PMAは再初期化なしに新たな最小値を追従した。
• 制約付き非凸1次元関数 $ \min_{x,y} 10(1.5\cos(x) - x) + \exp(x-5) + 100 $ に対して、図38に示すようにグローバル最小値への収束が達成された。
• 多様な非線形・スイッチング系において、シミュレーションでPMAのロバスト性が確認された。性能は $ y^* $、$ K_p $、$ K_i $、$ k_\alpha $、$ k_\beta $ の選択に依存するが、最適チューニングの形式的定式化はまだなされていない。