[論文レビュー] Backward Reachability Approach to State-Constrained Stochastic Optimal Control Problems for Jump Diffusion Systems

Jun Moon|arXiv (Cornell University)|Jun 10, 2020

Advanced Mathematical Modeling in Engineering参考文献 40被引用数 5

ひとこと要約

本稿では、ジャンプ拡散系における状態制約付き確率的最適制御問題を解くために、後向き到達可能性アプローチを提案する。元の不連続な価値関数を連続な補助価値関数のゼロレベル集合として再定式化することにより、非有界な制御と特異なLévy測度を伴う2階非線形積分微分方程式（IPDE）に対する連続なバナヒ解の存在および一意性を確立し、制御の非有界性や特異性に起因する課題を克服する。

ABSTRACT

In this paper, we consider the stochastic optimal control problem for jump diffusion systems with state constraints. In general, the value function of such problems is a discontinuous viscosity solution of the Hamilton-Jacobi-Bellman (HJB) equation, since the regularity cannot be guaranteed at the boundary of the state constraint. By adapting approaches of \cite{Bokanowski_SICON_2016} and the stochastic target theory, we obtain an equivalent representation of the original value function as the backward reachable set. We then show that this backward reachable can be characterized by the zero-level set of the auxiliary value function for the unconstrained stochastic control problem, which includes two additional unbounded controls as a consequence of the martingale representation theorem. We prove that the auxiliary value function is a unique continuous viscosity solution of the associated HJB equation, which is the second-order nonlinear integro-partial differential equation (IPDE). Our paper provides an explicit way to characterize the original (possibly discontinuous) value function as a zero-level set of the continuous solution of the auxiliary HJB equation. The proof of the existence and uniqueness requires a new technique due to the unbounded control sets, and the presence of the singularity of the corresponding Lévy measure in the nonlocal operator of the HJB equation.

研究の動機と目的

• 状態制約付きジャンプ拡散系における不連続なバナヒ解の課題を解決すること。
• 後向き到達集合を用いて、元の価値関数の等価表現を構築すること。
• 非有界な制御を伴う未制約HJB方程式を解く連続な補助価値関数を用いて、元の問題を特徴づけること。
• 非有界な制御集合および特異なLévy測度が存在する状況下でも、補助HJB方程式の連続バナヒ解の存在および一意性を証明すること。
• 元の（不連続な可能性がある）価値関数を、連続解のゼロレベル集合として回復する構成的技法を提供すること。

提案手法

• Bokanowskiら（2016）の確率的標的理論および後向き到達可能性フレームワークを、状態制約付きジャンプ拡散系に適応する。
• マルティンゲール表現定理を用いて、動的システムに2つの追加の非有界制御変数を導入し、状態制約を動的システムに埋め込む。
• 拡張された制御空間 $\mathcal{A}_{t,T} \times \mathcal{B}_{t,T}$ を用いて、補助確率的制御問題を定義し、状態制約を動的システムに持ち込む。
• ジャンプ拡散に起因する非局所作用素を伴う2階非線形積分微分方程式（IPDE）として、関連するハミルトニアン・ジャコビ・ベルマン（HJB）方程式を定式化する。
• 元の制約付き問題と補助価値関数 $W(t,a,b)$ のゼロレベル集合との等価性を確立する。
• 適切な境界条件の下で、$W$ が補助HJB方程式の唯一の連続バナヒ解であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 ジャンプ拡散を伴う状態制約付き確率的最適制御問題を、後向き到達集合を用いてどのように等価に表現できるか。
• RQ2 制約付き問題の不連続な価値関数は、補助未制約問題の連続解から回復可能か。
• RQ3 非有界な制御および特異なLévy測度が存在する場合、補助価値関数を支配するHJB方程式の構造はいかなるものか。
• RQ4 非有界な制御集合およびLévy測度の特異性が存在する状況下でも、バナヒ解の存在および一意性をどのように確立できるか。
• RQ5 マルティンゲール表現定理は、連続な補助価値関数の構築を可能にするために制御空間を拡張する役割を果たすか。

主な発見

• 元の価値関数 $V(t,a)$ は、$\mathcal{R}_t^\Gamma$ を後向き到達集合として、$\inf\{b \geq 0 \mid (a,b) \in \mathcal{R}_t^\Gamma\}$ として等価に表現される。
• 価値関数 $V(t,a)$ は、連続な補助価値関数 $W(t,a,b)$ のゼロレベル集合として特徴づけられ、すなわち $V(t,a) = \inf\{b \geq 0 \mid W(t,a,b) = 0\}$ である。
• $W$ は、2階非線形積分微分方程式（IPDE）である補助HJB方程式の唯一の連続バナヒ解である。
• $W$ の存在および一意性の証明は、非有界な制御集合および非局所作用素のLévy測度における特異性に特化した新規な技法に依拠する。
• 本手法により、不連続な価値関数問題が連続バナヒ解フレームワークに変換され、数値的および解析的に安定して取り扱えるようになる。
• 本手法は一般の状態制約 $\Gamma$ を有するジャンプ拡散系に適用可能であり、係数およびLévy測度に関する与えられた仮定の下で、解の構造が保持される。