[論文レビュー] Value Function and Optimal Trajectories for Regional Control Problems via Dynamic Programming and Pontryagin Maximum Principles

Guy Barles, Ariela Briani+1 more|arXiv (Cornell University)|May 13, 2016

Optimization and Variational Analysis参考文献 41被引用数 4

ひとこと要約

本稿は、状態空間の界面をまたいで不連続な力学とコスト関数を有する領域的最適制御問題において、動的計画法とポントレヤーギンの最大原理との間の関係を確立する。可算個のスイッチング（チタリングを除く）を仮定したもとで、値関数を導出し、ハイブリッド最適制御フレームワークにおける新たな連続性結果を証明する。

ABSTRACT

In this paper we study the optimal trajectories for regional, deterministic optimal control problems, i.e., problems where the dynamics and the cost functional can be completely different in two regions of the state space and therefore present discontinuities at their interface. Our first aim is to prove the classical link between the study of optimality conditions and the Bell-man approach in this framework, and then exploit it to recover the value function under the assumption that optimal trajectories have only a countable number of switchings between the different regions. From an application point of view this is a very reasonable assumption because in practice one never implements chattering trajectories (i.e., enjoying the Zeno phenomenon). As a consequence of our description we obtain a new regularity result for the value function in the framework of hybrid optimal control problems.

研究の動機と目的

• 不連続な力学とコスト関数を有する領域的最適制御問題において、動的計画法とポントレヤーギンの最大原理との古典的関係を確立すること。
• 状態空間の領域ごとに力学とコストが異なるハイブリッドシステムにおける最適軌道を分析すること。
• チタリング（ゼノン行動）を除外するため、可算個のスイッチングという仮定が物理的に妥当であることを正当化すること。
• このスイッチング仮定の下で値関数を導出し、ハイブリッド最適制御設定におけるその連続性を証明すること。
• 動的計画法と最大原理の両手法を用いて、状態空間の不連続性を有する領域的制御問題を解くための理論的基盤を提供すること。

提案手法

• 2つの状態空間領域で異なる力学とコスト関数を有する領域的最適制御問題を形式化する。
• 不連続性を伴う状況下でも、動的計画法を用いて値関数のハミルトン・ジャコビ・ベルマン方程式を導出する。
• ポントレヤーギンの最大原理を用いて、界面を横切る軌道の必要最適性条件を特徴付ける。
• 可算個のスイッチング制約の下で、動的計画法による値関数と最大原理による最適コストとの等価性を確立する。
• 領域間のスイッチングが可算個であるという仮定の下で、値関数がリプシッツ連続であることを証明する。
• 問題のハイブリッド構造を活用して、界面をまたがる値関数の連続性および正則性の性質を分析する。

実験結果

リサーチクエスチョン

• RQ1 不連続な力学を有する領域的最適制御問題において、動的計画法とポントレヤーギンの最大原理はどのように統合可能か？
• RQ2 ハイブリッド最適制御系において、状態空間の不連続性を有する場合に、値関数の存在と正則性を保証する条件は何か？
• RQ3 最適軌道が領域間で可算個のスイッチングしか持たないことが保証されるのはどのような仮定のもとでか？
• RQ4 チタリング（ゼノン行動）の不在が、値関数の構造と正則性にどのように影響するか？
• RQ5 このハイブリッドフレームワークにおいて、ハミルトン・ジャコビ・ベルマン方程式と最大原理によって導かれる必要最適条件との理論的関連は何か？

主な発見

• 不連続な力学を有する領域的最適制御問題において、動的計画法とポントレヤーギンの最大原理との間のきめ細やかな関係が確立された。
• 可算個のスイッチングという仮定のもとで、値関数がリプシッツ連続であることが示された。
• チタリング軌道を除外することで、可算個のスイッチングという仮定が物理的に妥当であることが正当化された。
• 分析により、ハイブリッド最適制御問題における値関数の新たな正則性結果が得られ、古典的結果が不連続な設定へと拡張された。
• 与えられた仮定のもとで、動的計画法による値関数と最大原理による最適コストとの等価性が形式的に証明された。
• 本フレームワークは、動的計画法と最大原理の両手法を用いて、状態空間の不連続性を有する領域的制御問題を統合的に解くための理論的基盤を提供する。