[論文レビュー] Viscosity Solutions of Stochastic Hamilton-Jacobi-Bellman Equations

Jinniao Qiu|arXiv (Cornell University)|Sep 18, 2017

Stochastic processes and financial applications参考文献 28被引用数 3

ひとこと要約

本稿は、確率的係数を伴う最適確率的制御に生じる完全非線形確率的ハミルトン・ヤコビ・ベルルマン（HJB）方程式のための粘性解フレームワークを導入する。価値関数が最大粘性解であることが示され、拡散係数が時間、状態、制御の決定的関数である超放物的条件下で一意性が証明される。

ABSTRACT

In this paper we study the fully nonlinear stochastic Hamilton-Jacobi-Bellman (HJB) equation for the optimal stochastic control problem of stochastic differential equations with random coefficients. The notion of viscosity solution is introduced, and we prove that the value function of the optimal stochastic control problem is the maximal viscosity solution of the associated stochastic HJB equation. For the superparabolic cases when the diffusion coefficients are deterministic functions of time, states and controls, the uniqueness is addressed as well.

研究の動機と目的

• 確率的係数を伴う非マルコフ的設定における完全非線形確率的HJB方程式の解の存在および一意性に関する未解決問題に取り組む。
• 確率的係数を伴う後向き確率的PDEを含む確率的HJB方程式のための厳密な粘性解の概念を定義する。
• 最適確率的制御問題の価値関数が関連する確率的HJB方程式の最大粘性解として特定されることを確立する。
• 拡散係数が決定的である超放物的条件下で、粘性解の一意性を証明する。
• 確率的係数を伴う確率的HJB方程式を通じて、非マルコフ的設定への動的計画法の原則の拡張を行う。

提案手法

• ブラウン運動と確率的係数によって駆動される完全非線形確率的HJB方程式のための粘性解概念を導入する。
• ドーブ＝マイヤー分解を用いて、解の時間的成分とマルティンゲール成分を定義し、後向き確率的PDEの構造を特定する。
• 未知の確率的場 $u(t,x)$ および $ackslash psi(t,x)$ に関する、確率的微分作用素 $ackslash mathfrak{d}_t$ および $ackslash mathfrak{d}_ackslash omega$ の概念を適用して、解を特徴付ける。
• 粘性解の比較原理を用いて、価値関数が最大解であることを確立する。
• 伊藤の公式と事前推定を適用して、価値関数および動的コスト関数の正則性と連続性を証明する。
• 摂動法と安定性推定を用いて、係数のリプシッツ連続性および状態過程のマルコフ性に依存して、時間および空間における連続性を示す。

実験結果

リサーチクエスチョン

• RQ1 確率的係数を伴う完全非線形確率的HJB方程式のための粘性解フレームワークを開発できるか？
• RQ2 最適確率的制御問題の価値関数は、関連する確率的HJB方程式の最大粘性解か？
• RQ3 どのような条件下で、確率的HJB方程式の粘性解は一意的か？
• RQ4 係数の非マルコフ的構造は、確率的HJB方程式の正則性および可解性にどのように影響するか？
• RQ5 完全非線形確率的HJB方程式に確率的係数を伴う文脈において、動的計画法の原則を厳密に正当化できるか？

主な発見

• 与えられた仮定の下で、価値関数 $V(t,x)$ は方程式 (1.5) の最大粘性解である。
• 拡散係数 $ackslash sigma$ が決定的（すなわち、$\omega$ に依存しない）である超放物的ケースでは、粘性解は一意的である。
• 価値関数 $V(t,x)$ は $t$ に関して連続であり、ほとんど確実に $x$ に関してリプシッツ連続であり、$(s,y) \to (t,x)$ のとき $|V(t,x) - V(s,y)| \to 0$ である。
• 動的コスト関数 $J(t,x;\theta)$ は $t$ に関して連続であり、制御 $\theta$ 全体にわたって一様に $x$ に関してリプシッツ連続である。
• 価値関数は生成子 $\mathbb{H}$ を制御の本質的下限によって定義する意味で、確率的HJB方程式を粘性の意味で満たす。
• 解の構造は、確率的フェインマン＝カープの公式および後向き確率的PDE理論と整合しており、古典的結果を完全非線形設定へと拡張する。