[論文レビュー] On Lipschitz continuity of value functions for infinite horizon problem

Dmitry Khlopin|arXiv (Cornell University)|Aug 27, 2015

Optimization and Variational Analysis参考文献 16被引用数 6

ひとこと要約

本稿では、無限時間ホライズン最適制御問題において、値関数がリプシッツ連続であるとき、ポントリャーギン最大原理の通常形と感度関係を組み合わせた条件が、最適性の必要十分条件であることを確立する。さらに、可制御性に類する性質などのシステム条​​件が、軌道やコステートに漸近的制約を課さずに値関数のリプシッツ連続性を保証することを特定し、同じ制御が異なる最適性基準のもとで複数の異なる値関数に対応することを示している。

ABSTRACT

We investigate conditions of optimality for an infinite horizon control problem and consider their correspondence with the value function. Assuming Lipschitz continuity of the value function, we prove that sensitivity relations plus the normal form version of the Pontryagin Maximum Principle is a necessary and sufficient condition for the optimality criteria that correspond to this value function. Different criteria of optimality under different asymptotic constraints may be used, including almost strong and classical optimality proposed by D.Bogusz. Special attention is devoted to weakly agreeable criteria. We also obtain the conditions on control system (like controllability) that guarantee the Lipschitz continuity of the value function, without any other asymptotic conditions besides finiteness of the value function. Some examples are discussed. In particular, it was shown that the same control, regarded as agreeable optimal and overtaking optimal control, can correspond to different (everywhere) value functions.

研究の動機と目的

• 無限時間ホライズン制御問題における最適性条件を、ポントリャーギン最大原理の通常形と感度関係を用いて必要十分条件として確立すること。
• 同意的、オーバーキング、古典的最適性といった異なる最適性基準とそれに対応する値関数との対応関係を調査すること。
• 軌道や共役変数（アドジョイント変数）の漸近的制約を課さずに、値関数のリプシッツ連続性を保証するシステムの内在的性質（例：可制御性に類する条件）を同定すること。
• 同じ最適制御が異なる最適性基準のもとで複数の値関数に対応することの非一意性を、特に弱い同意的設定において明確にすること。
• 軌道やコステートの漸近的性質に依存しない、システム構造に基づく値関数のリプシッツ連続性の十分条件を提供すること。

提案手法

• 動的計画法（DPP）を用いて、有限時間ホライズンの値関数と無限時間ホライズンの最適性を関連づけ、時間区間間での一貫性を保証する。
• 値関数がリプシッツ連続であるという仮定の下で、通常形のポントリャーギン最大原理と感度関係を、主要な最適性条件として適用する。
• 制御システムの構造的性質（例：部分線形成長、動的およびコスト関数の局所的リプシッツ連続性）を用いて、値関数のリプシッツ連続性の十分条件を導出する。
• 座標変換と比較系（例：$ w = \sqrt{y_2}, z = y_1 / \sqrt{y_2} $ などの変数）を用いて、状態空間の異なる領域における局所的挙動を分析し、リプシッツ連続性の検証を行う。
• 区分的定数制御と時変軌道を用いた具体的な例を構築し、値関数の非一意性および理論的結果の有効性を示す。
• DPPおよび値関数の性質を通じて、ハミルトニアン・ジャコビ・ベルマン（HJB）方程式フレームワークを暗黙的に用いて、最適性および連続性の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 無限時間ホライズン制御問題において、ポントリャーギン最大原理の通常形と感度関係が、どのような条件下で最適性の必要十分条件となるか？
• RQ2 同意的、オーバーキング、または古典的最適性といった異なる最適性基準は、それぞれ異なる値関数とどのように関係するか。また、同じ制御が複数の基準のもとで最適となるのはどのような場合か？
• RQ3 制御システムのどのような構造的性質が、軌道やコステート弧に漸近的制約を課さずに値関数のリプシッツ連続性を保証するか？
• RQ4 同じ最適制御が複数の値関数に対応することが可能か。そのような状況が発生するのはどのような条件下か？
• RQ5 標準的な漸近的または強制的仮定を満たさないシステムにおいても、値関数がリプシッツ連続のままであるための条件は何か？

主な発見

• 値関数がリプシッツ連続である場合、ポントリャーギン最大原理の通常形と感度関係の組み合わせは、最適性の必要十分条件である。
• 同じ制御が、同意的最適性とオーバーキング最適性といった複数の基準のもとで最適である可能性があり、それに対応する値関数も異なる。これは例7.3で示されている。
• 値関数がリプシッツ連続であるのは、システムが特定の構造的条件（例：部分線形成長、局所的リプシッツ連続性）を満たしている場合に限らないが、軌道やコステートの有界性や全 variation の仮定がなくても成立する。
• ケース $ P = [-a^2, a^2] $ において、値関数 $ \mathbb{V} $ は $ \{(y_1, y_2) \in \mathbb{R}^2 \mid y_2 \neq 0, y_1^2 \neq 2a^2 y_2\} $ でリプシッツ連続であることが、座標変換と比較系解析によって示された。
• 重み付きルベーグ空間基準に対応する値関数 $ V^{all} $ は、無限時間積分基準に対応する $ V^{\inf} $ より定数 $ \frac{-1 + \ln 2}{2} $ 小さく、値関数の非一意性が示された。
• 本稿では、すべての $ b $ に対して $ V^{all}(b) < V^{\inf}(b) $ を満たすが、$ u^* \equiv 0 $ が両者で最適であるようなシステムを構築した。これにより、異なる値関数が同じ最適制御をもたらすことが示された。