[論文レビュー] A Bellman approach for two-domains optimal control problems in $\R^N$

Guy Barles, Ariela Briani+1 more|arXiv (Cornell University)|Dec 16, 2011

Stability and Controllability of Differential Equations参考文献 16被引用数 8

ひとこと要約

本稿では、$\mathbb{R}^N$ 内の超平面を境に不連続な力学系および走行コストを有する最適制御問題に対して、ベルマンアプローチを展開する。軌道を界面で定義するために微分包含を用い、特異的力学系を除外した場合に値関数が一意に特徴付けられることを確立する。一方、最小の上解と最大の下解は、特異的力学系を許容するか禁止するかに対応し、ベルマン方程式における非一意性を解消する。

ABSTRACT

This article is the starting point of a series of works whose aim is the study of deterministic control problems where the dynamic and the running cost can be completely different in two (or more) complementary domains of the space $\R^N$. As a consequence, the dynamic and running cost present discontinuities at the boundary of these domains and this is the main difficulty of this type of problems. We address these questions by using a Bellman approach: our aim is to investigate how to define properly the value function(s), to deduce what is (are) the right Bellman Equation(s) associated to this problem (in particular what are the conditions on the set where the dynamic and running cost are discontinuous) and to study the uniqueness properties for this Bellman equation. In this work, we provide rather complete answers to these questions in the case of a simple geometry, namely when we only consider two different domains which are half spaces: we properly define the control problem, identify the different conditions on the hyperplane where the dynamic and the running cost are discontinuous and discuss the uniqueness properties of the Bellman problem by either providing explicitly the minimal and maximal solution or by giving explicit conditions to have uniqueness.

研究の動機と目的

• 動的システムおよび走行コストが $\mathbb{R}^N$ 内の超平面を境に不連続となる最適制御問題を厳密に定式化すること。
• 不連続性が生じる界面における正しいベルマン方程式および境界条件を同定すること。
• 特異的力学系の存在が原因で生じるベルマン方程式の非一意性を、最小上解と最大下解の特徴付けによって解消すること。
• 界面における特異的力学系と通常の力学系の役割が値関数の決定に与える影響を明確にすること。

提案手法

• フィリッポフの微分包含を用いて、超平面 $\mathcal{H} = \{x_N = 0\}$ 上での許容可能な軌道を定義し、両側の半空間からの力学系の凸結合を許容する。
• 制御 $a = (\alpha_1, \alpha_2, \mu)$ を用いたハイブリッド制御構造を導入し、$\mu \in [0,1]$ が $\Omega_1$ と $\Omega_2$ からの力学系の混合を制御する。
• 二つの値関数を定義する：$\mathbf{U}^+$（最大解）は特異的力学系を禁止することで得られ、$\mathbf{U}^-$（最小解）はすべての戦略を許容することで得られる。
• $\Omega_1$ および $\Omega_2$ におけるハミルトニアン・ホンジエ方程式の連立系に粘性解理論を適用し、界面 $\mathcal{H}$ における境界条件として $\min\{H_1, H_2\} \leq 0$ および $\max\{H_1, H_2\} \geq 0$ を設定する。
• 消失粘性法および近似手法を用いて、解が $\mathbf{U}^+$ に収束することを証明し、特異的力学系を除外した下で $\mathbf{U}^+$ が一意な解であることを確立する。
• 半相対極限技法および比較原理を用いて、近似解の列が最大解 $\mathbf{U}^+$ に一様収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 動的システムおよび走行コストが $\mathbb{R}^N$ 内の超平面を境に不連続となる場合、値関数はどのように定義されるべきか？
• RQ2 不連続な力学系が存在する状況下で、値関数が満たすべき正しいベルマン方程式および界面条件は何か？
• RQ3 一般にベルマン方程式が一意な解を持たないのはなぜか、その非一意性の原因は何か？
• RQ4 最小上解と最大下解は、明確に定義された制御問題の値関数として特徴付けられるか？
• RQ5 どのような条件下で値関数が一意に特徴付けられ、特異的力学系はその特徴付けにおいて果たす役割は何か？

主な発見

• 特異的力学系（両側で法線速度の符号が逆になるもの）を除外した場合、ベルマン系の最大解 $\mathbf{U}^+$ が一意な値関数として特徴付けられる。
• 最小上解 $\mathbf{U}^-$ は、すべての戦略（特異的を含む）を許容する場合の値関数に対応する。
• ベルマン系の解の非一意性は、特異的力学系が標準的な界面条件に反映されていないことに起因する。
• 値関数 $\mathbf{U}^+$ は、特定のスケーリング則に従う消失粘性近似の解の列の一様極限として特徴付けられる。
• 1次元の場合、$\lambda > 1$ のとき $\mathbf{U}^+(x) = |x|/\lambda + 1/\lambda^2$ であり、$\lambda < 1$ であっても解は凸のままであり、近似に対して安定性が保証される。
• 粘性近似の解の半相対極限は $\mathbf{U}^+$ に一様収束し、特異的力学系を除外した下で $\mathbf{U}^+$ が一意な解であることが裏付けられる。