[論文レビュー] On the existence of a limit value in some non expansive optimal control problems

Marc Quincampoix, Jérôme Renault|Toulouse 1 Capitole Publications (Université Toulouse I Capitole)|Apr 23, 2009

Optimization and Variational Analysis参考文献 3被引用数 5

ひとこと要約

この論文は、極限が初期状態に依存する場合でさえも、非拡張的性質に類する条件下で、無限時間ホライズン最適制御問題における極限値の存在を確立する。均一値の概念を導入し、再帰的制御連結法を用いることで、有限ホライズンにおける近似的最適制御が長期間にわたり有効であることを証明し、従来の非可縮性や不変性の仮定を必要としていなかった結果を一般化する。

ABSTRACT

We investigate a limit value of an optimal control problem when the horizon converges to infinity. For this aim, we suppose suitable nonexpansive-like assumptions which does not imply that the limit is independent of the initial state as it is usually done in the literature.

研究の動機と目的

• 無限時間ホライズン最適制御問題の値関数が、初期状態に依存する極限に収束するための条件を確立すること。
• 極限が初期条件に依存しない場合に限定されない非拡張的システムにおける均一値の概念を拡張すること。
• 強制性や非可縮性の仮定を必要としない極限値の存在に関する一般結果を提供すること。
• 極限が初期状態に依存する場合でさえも、有限ホライズンにおける近的最適制御が長期間にわたり近似的に最適であることを示すこと。
• 従来のエルゴディック制御およびハミルトニアン・ジャコビ方程式に関する結果を、新たな再帰的制御構成により、非強制的・非非可縮的設定へ一般化すること。

提案手法

• 動的システムに非拡張的条件を導入：任意の $ y_1, y_2 $ に対して、$ \sup_{u\in U}\inf_{v\in U}\langle y_1 - y_2, g(y_1,u) - g(y_2,v) \rangle \leq 0 $ が成り立つ、前向き不変なコンパクト集合 $ N $ 内で。
• 再帰的制御連結法を用いる：長さ $ m_i $ および $ n_i $ の区間で制御 $ u^i $ を繋げて制御 $ u $ を構成し、$ n_i \gg m_{i+1} $ とする。
• リャプノフ型の議論により、各 $ n_i $-区間の終端における値が最大で $ \alpha / 2^i $ 減少することを示し、値関数の収束を保証する。
• テレスコピング和の議論を適用して、長期間における平均コストを評価し、$ \gamma_T(z,u) \leq v^* + 2\alpha + m_1/T $ を得る。$ T \to \infty $ のとき、右辺は $ v^* + 2\alpha $ に収束する。
• 任意の $ \varepsilon > 0 $ に対して、十分大きな $ t $ に対して $ \varepsilon $-最適である制御が存在することを示すことにより、均一値の存在を証明する。
• 各段階で必要なコスト制約を満たす制御の存在を保証するため、可測選択およびコンパクトネスの議論に依拠する。

実験結果

リサーチクエスチョン

• RQ1 無限時間ホライズンにおける平均コストが、初期状態に依存する極限に収束する条件は何か？
• RQ2 極限が初期条件に依存しない場合に限定されない非拡張的システムにおいて、均一値が存在しうるか？
• RQ3 極限値が初期状態に依存する場合でさえも、すべての大きな時間ホライズンに対して近似的に最適な制御戦略を一つに構成することは可能か？
• RQ4 非強制的ダイナミクス下で、有限ホライズン問題における近的最適制御が長期間にわたり有効であることを保証するにはどうすればよいか？
• RQ5 非可縮性を要件としない極限値の存在を保証するための、ダイナミクスおよびコスト関数に必要な構造的仮定は何か？

主な発見

• 非拡張的条件 $ \sup_{u,v} \langle y_1 - y_2, g(y_1,u) - g(y_2,v) \rangle \leq 0 $ が前向き不変なコンパクト集合上で成り立つ限り、すべての $ y_0 $ に対して極限値 $ V(y_0) = \lim_{t \to \infty} V_t(y_0) $ が存在する。
• 均一値が存在する：任意の $ \varepsilon > 0 $ に対して、制御 $ u $ および時刻 $ t_0 $ が存在し、すべての $ t \geq t_0 $ に対して平均コストが極限値 $ V(y_0) $ から $ \varepsilon $ 以内に収まる。
• ハミルトニアンが強制的である必要も、システムが非可縮的である必要もないため、従来のエルゴディック制御設定を超えた拡張が可能である。
• 提示された非拡張的および不変性の仮定の下で、状態空間のコンパクト部分集合上で値関数は一様に収束する。
• 再帰的制御連結により、$ T $ が十分に大きい場合、平均コストが $ v^* + 2\alpha $ の範囲内に保たれ、極限値への収束が証明される。
• 例2〜4で示されるように、$ h $ が連続で $ g $ がリプシッツである場合でさえも、極限が初期状態に依存する場合にも、結果は一般化可能である。