[論文レビュー] The Minkowski-Bellman Equation

Saša V. Raković|arXiv (Cornell University)|Aug 29, 2020

Advanced Control Systems Optimization参考文献 24被引用数 4

ひとこと要約

本稿は、段階的および終端コストが適切な C-集合のミンコフスキー関数として定義された、制約なし線形離散時間システムの有限および無限ホライズン最適制御のためのミンコフスキー・ベルマン方程式を導入する。ベルマン反復の適切な定義、固定点の値関数の一意性、最適化子写像の収束を確立し、非二次的でノルムに類似したコスト関数に対する線形二次レギュレータの新規類似を、集合値ダイナミクスを用いた非滑らかおよび変分解析の道具を用いて提示する。

ABSTRACT

This manuscript studies the Minkowski-Bellman equation, which is the Bellman equation arising from finite or infinite horizon optimal control of unconstrained linear discrete time systems with stage and terminal cost functions specified as Minkowski functions of proper C-sets. In regards to the finite horizon optimal control, it is established that, under natural conditions, the Minkowski-Bellman equation and its iteration are well posed. The characterization of the value functions and optimizer maps is derived. In regards to the infinite horizon optimal control, it is demonstrated that, under the same natural conditions, the fixed point of the Minkowski-Bellman equation is unique, in terms of the value function, over the space of Minkowski functions of proper C-sets. The characterization of the fixed point value function and optimizer map is reported.

研究の動機と目的

• 非二次的でノルムに類似したコスト関数を有する制約なし線形離散時間システムの最適制御に対する閉形式解の欠如に対処すること。
• 段階的および終端コストが適切な C-集合のミンコフスキー関数として定義された有限および無限ホライズン最適制御問題における値関数および最適化子写像を特徴付けること。
• 自然な条件下でミンコフスキー・ベルマン方程式反復の適切な定義を確立すること。
• 無限ホライズンの場合に、適切な C-集合のミンコフスキー関数の空間において、ミンコフスキー・ベルマン方程式の固定点の存在および一意性を証明すること。
• 無限ホライズン設定において、最適化子写像およびその最小ノルム選択肢の一様収束を示すこと。

提案手法

• 段階的および終端コストが適切な C-集合のミンコフスキー関数として定義されたシステムのベルマン方程式としてミンコフスキー・ベルマン方程式を定式化する。
• 集合値解析および集合ダイナミクスアプローチを用いて、値関数および最適化子写像を変化する集合のミンコフスキー関数として分析する。
• 支持関数およびゲージ関数を含む非滑らかおよび変分解析の道具を用いて、値関数および制御方策の進化を特徴付ける。
• 入れ子の包含関係および同次変換の議論を用いて、値関数および制御方策を表す集合列の収束を確立する。
• ゲージ関数および支持関数の形式を用いて、単位球上で最適化子写像およびその最小ノルム選択肢の一致収束を示す。
• 再帰的集合ダイナミクスを用いて、値関数および制御方策を規定する集合の進化を定義し、適切な C-集合の不変性および収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 制約なし線形離散時間システムの有限ホライズン最適制御において、ミンコフスキー関数コストを有するミンコフスキー・ベルマン方程式は適切に定義されるか？
• RQ2 無限ホライズンの場合に、適切な C-集合のミンコフスキー関数の空間において、ミンコフスキー・ベルマン方程式の固定点は存在し、かつ一意的か？
• RQ3 無限ホライズン設定において、最適化子写像およびその最小ノルム選択肢は一様収束するか？
• RQ4 ベルマン反復の下で、値関数および制御方策は、変化する適切な C-集合のミンコフスキー関数として特徴付けられるか？
• RQ5 無限ホライズン設定において、値関数および制御方策を表す集合列の収束行動はいかなるものか？

主な発見

• 自然な条件下でミンコフスキー・ベルマン方程式およびその反復は適切に定義され、各反復ステップにおいて値関数が適切な C-集合のミンコフスキー関数として与えられる。
• 無限ホライズンの場合に、適切な C-集合のミンコフスキー関数の空間において、ミンコフスキー・ベルマン方程式の固定点は一意的である。
• 固定点における値関数は、適切な C-集合のミンコフスキー関数として特徴付けられ、対応する最適化子写像はゲージ関数を含む集合値写像として特徴付けられる。
• 値関数および制御方策を定義する集合列は、入れ子かつ同次変換の方法で収束し、最適化子写像の一様収束を保証する。
• 最適化子写像 $ u_k(\bullet) $ およびその最小ノルム選択肢 $ \nu_k(\bullet) $ は、単位球上でそれぞれ無限ホライズン最適化子写像 $ u_\bullet(\bullet) $ およびその選択肢 $ \nu_\bullet(\bullet) $ に一様収束する。
• 収束は $ \tau_1 $-依存の誤差境界によって定量的に示され、任意の $ \varepsilon > 0 $ に対して、ある $ k^* $ が存在し、集合 $ \mathcal{P}_k $ および $ \mathcal{T}_k $ がハウスドルフ距離においてそれらの極限から $ \varepsilon $-近傍内にあることを示す。