[論文レビュー] Infinite-horizon Linear Optimal Control of Markov Jump Systems without Mode Observation via State Feedback

Maxim Dolgov, Uwe D. Hanebeck|arXiv (Cornell University)|Jan 1, 2015

Stability and Control of Uncertain Systems参考文献 24被引用数 4

ひとこと要約

本稿では、モード観測が不可能な状況下における、状態フィードバックを用いた無限時間ホライズン線形最適制御則を提案する。定数ゲイン線形制御を用い、必要十分最適性条件と反復アルゴリズムを用いて安定化ゲインを計算することで、ホライズンチューニングやオンライン再最適化を要せず、再収束ホライズン法に近い性能を達成する。

ABSTRACT

In this paper, we consider stochastic optimal control of Markov Jump Linear Systems with state feedback but without observation of the jumping parameter. The proposed control law is assumed to be linear with constant gains that can be obtained from the necessary optimality conditions using an iterative algorithm. The proposed approach is demonstrated in a numerical example.

研究の動機と目的

• モードが観測不可能な状況におけるマルコフ跳躍線形システム（MJLS）の最適制御の課題に取り組む。これは、最適解が計算的に扱いにくくなることが一般的な状況である。
• 再収束ホライズンフレームワークやホライズンパラメータ選択を必要とせず、無限時間ホライズンコスト関数を最小化する、時間不変で定数ゲインの線形制御則を開発する。
• ハミルトニアン・ジャコビ・ベルマン方程式から導かれる必要条件を用い、反復アルゴリズムにより解くことで、安定性と最適性を保証する。
• 提案された制御則が、その単純さと固定構造にもかかわらず、時間可変の再収束ホライズン制御器とほぼ同一の性能を達成することを示す。

提案手法

• モード依存行列 A_θ, B_θ, H_θ と独立同一分布のゼロ平均ガウスノイズ（共分散 W）を用いて MJLS のダイナミクスを定式化する。
• モード依存の半正定値行列 Q_θ と正定値行列 R_θ を含む、無限時間平均コスト関数を定義する。
• 制御則が定数ゲインの線形であるという構造的仮定を導入し、必要最適性条件を用いて固定点方程式を導出する。
• クライネッカー積とベクトル化作用素を用いて、結合されたリッカティ型方程式をベクトル化形式に変換し、ψ_k+1 = M ψ_k + ρ_k の形の線形系に変換する。
• 行列 M のスペクトル半径が 1 より小さいことを保証することで、収縮写像としての収束性を確立し、一意な固定点の存在を保証する。
• スペクトル半径の滑らかで凸な近似（μ_ε(A) を用いて、安定性テストを最適化問題に定式化し、勾配ベース最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モードが観測不可能な状況下でも、時間不変で定数ゲインの線形制御則が、無限時間ホライズン MJLS 制御においてほぼ最適性能を達成できるか？
• RQ2 有限の最適化ホライズンを選択する必要なく、再収束ホライズンフレームワークに依存せずに最適制御ゲインを計算できるか？
• RQ3 モード観測なしの仮定のもとで、最適制御則の安定性と収束性をどのように保証できるか？
• RQ4 システム行列 M のスペクトル半径と、反復アルゴリズムにおける一意な固定点の存在との関係は何か？
• RQ5 スペクトル半径の滑らかで凸な近似 μ_ε(A) を用いることで、モード情報が欠如する状況下でも、効率的かつ安定した制御ゲイン最適化が可能になるか？

主な発見

• 提案された制御則は、固定ゲインとホライズンパラメータを一切使用しないにもかかわらず、先行研究の時間可変再収束ホライズン制御器とほぼ同一の性能を達成する。
• 反復アルゴリズムは、システム行列 M がスペクトル半径が 1 より小さい場合、収縮写像としての性質を満たすため、一意な固定点に収束する。
• 安定性テストは、行列 M のスペクトル半径を最小化する最適化問題として定式化され、これにより閉ループ系の平均二乗安定性が保証される。
• スペクトル半径の滑らかで凸な近似 μ_ε(A) を用いることで、勾配ベース最適化が可能となり、ε → 0 の極限で真のスペクトル半径に収束する。
• 線形制御則を仮定することにより、次元の呪いと二重効果の複雑さを回避し、計算的に扱いやすくしながらも高い性能を維持する。
• 数値結果により、制御ゲインが収束し、コスト関数が安定することが確認され、実用的な MJLS 例における手法の有効性が示された。