[論文レビュー] Stochastic Representations for Solutions to Nonlocal Bellman Equations

Ruoting Gong, Chenchen Mou+1 more|arXiv (Cornell University)|Sep 1, 2017

Stochastic processes and financial applications参考文献 14被引用数 3

ひとこと要約

本稿は、有界領域における退化したハミルトニアン・ジャコビ・ベルマン積分微分方程式の粘性解に対して、確率的表現を確立する。解が確率的最適制御問題の価値関数に等価であることを証明し、動的計画法の原則を導出し、粘性解を介して確定的PDEと確率的制御を結びつける。

ABSTRACT

We prove a stochastic representation formula for the viscosity solution of Dirichlet terminal-boundary value problem for a degenerate Hamilton-Jacobi-Bellman integro-partial differential equation in a bounded domain. We show that the unique viscosity solution is the value function of the associated stochastic optimal control problem. We also obtain the dynamic programming principle for the associated stochastic optimal control problem in a bounded domain.

研究の動機と目的

• 有界領域における退化した非局所ハミルトニアン・ジャコビ・ベルマン方程式の粘性解に対する確率的表現公式を確立すること。
• 一意な粘性解が関連する確率的最適制御問題の価値関数に一致することを証明すること。
• 有界領域における確率的最適制御問題の動的計画法の原則を導出すること。
• 粘性解理論を介して、非局所PDEと確率的制御理論の間のギャップを埋めること。

提案手法

• 著者たちは、ディリクレ型の終端境界条件を伴う退化したハミルトニアン・ジャコビ・ベルマン積分微分方程式を、粘性解理論を用いて分析する。
• PDEの解を制御されたジャンプ・拡散過程の期待値に結びつけることで、確率的表現を構築する。
• 基礎となる確率過程のマルコフ性および強マルコフ性を用いて、動的計画法の原則を導出する。
• 粘性解の比較原理と価値関数が粘性解として正当化されることに依拠した証明を行う。
• 主な要素には、拡散・ジャンプ過程の生成作用素と、レヴィ型ジャンプを表す非局所積分項が含まれる。
• 境界条件と抜出自時刻の取り扱いに注意を払いながら、有界領域で解析を行う。

実験結果

リサーチクエスチョン

• RQ1 有界領域における退化した非局所ハミルトニアン・ジャコビ・ベルマン方程式の粘性解は、確率的に表現可能か？
• RQ2 粘性解は、ジャンプを伴う確率的最適制御問題の価値関数と等価か？
• RQ3 このような非局所PDEによって支配される確率的最適制御問題について、動的計画法の原則は有効か？
• RQ4 境界条件と領域制約は、確率的表現および価値関数にどのように影響を与えるか？

主な発見

• 非局所ベルマン方程式の一意な粘性解は、確率的最適制御問題の価値関数として表現される。
• 拡散係数の退化およびレヴィ型ジャンプの存在を仮定することで、確率的表現が成立する。
• 有界領域設定における確率的制御問題の動的計画法の原則が厳密に確立される。
• 価値関数は粘性解の意味でハミルトニアン・ジャコビ・ベルマン方程式を満たし、PDE解と整合的であることが確認される。
• 制御された拡散過程の領域からの抜出自時刻を介して、境界条件が適切に扱われる。
• 結果は、有界領域における非局所的・退化型PDEへの古典的確率的制御理論の拡張を示している。