[論文レビュー] Dual and backward SDE representation for optimal control of non-Markovian SDEs

Marco Fuhrman, Huyên Pham|arXiv (Cornell University)|Oct 25, 2013

Stochastic processes and financial applications参考文献 21被引用数 5

ひとこと要約

本稿は、非マルコフ型SDEの最適制御に対して、経路に依存する係数と楕円性の仮定なしに、双対的かつ後向きSDEの表現を確立する。制御をポアソン確率測度を用いてランダム化し、拡大された空間上の支配的測度を用いることで、値関数は非正のジャンプを伴う後向きSDEの最小解として特徴付けられる—これは、経路に依存する非マルコフ型のハミルトニアン＝ジャコビ＝ベルルマン方程式の一般化を提供する。

ABSTRACT

We study optimal stochastic control problem for non-Markovian stochastic differential equations (SDEs) where the drift, diffusion coefficients, and gain functionals are path-dependent, and importantly we do not make any ellipticity assumption on the SDE. We develop a controls randomization approach, and prove that the value function can be reformulated under a family of dominated measures on an enlarged filtered probability space. This value function is then characterized by a backward SDE with nonpositive jumps under a single probability measure, which can be viewed as a path-dependent version of the Hamilton-Jacobi-Bellman equation, and an extension to $G$ expectation.

研究の動機と目的

• 制御されたマルコフ型SDEにおける後向きSDE表現を、経路に依存する係数をもつ非マルコフ型SDEへと拡張すること。
• 制御されたSDEにおける拡散係数の楕円性または非退化性の仮定を不要にする。
• 単一の確率測度の下で、非正のジャンプを伴うBSDEによる値関数の確率的表現を構築すること。
• 支配的測度の族の下で双対的制御定式化を確立し、価値関数を、粘性解やHJB PDEの一意性に依存しない、完全に確率論的議論によって扱えるようにすること。

提案手法

• 独立なポアソン確率測度を用い、固定された有限強度を持つ純ジャンプ過程に置き換えることで、制御過程をランダム化する。
• 確率空間を拡大し、ポアソン確率測度を含め、ポアソン過程の強度測度を変更することで、支配的測度の族を定義する。
• 値関数がこれらの支配的測度の上での期待値として表現される双対的制御問題を構築し、制御問題の弱い定式化を可能にする。
• 値関数を、ブラウン運動およびポアソン確率測度に駆動される非正のジャンプを伴う後向きSDEの最小解として特徴付ける。
• 非正のジャンプ制約を満たすために、最小の非減少過程を用い、解が制御ダイナミクスと一貫したままであることを保証する。
• 動的プログラミング原理や粘性解理論に依存せずに、完全に確率論的議論により、元の値関数とBSDEの解との等価性を証明する。

実験結果

リサーチクエスチョン

• RQ1 制御された非マルコフ型SDEの値関数は、拡散係数の楕円性を仮定せず、非正のジャンプを伴う後向きSDEによって表現可能か？
• RQ2 ポアソン確率測度による制御のランダム化は、値関数を保存しつつ、単一の確率測度の下で最適制御問題を再定式化するためにどのように利用可能か？
• RQ3 支配的測度の役割は、非マルコフ型設定における値関数の双対的表現を可能にする上で果たすか？
• RQ4 動的プログラミング原理や粘性解の一意性に依存せずに、値関数とBSDE解との関係を確立できるか？
• RQ5 経路に依存するSDEの文脈において、連続的制御過程を絶対的連続補正を持つ純ジャンプ過程でどのように近似できるか？

主な発見

• 非マルコフ型最適制御問題の値関数は、単一の確率測度の下で、非正のジャンプを伴う後向きSDEの最小解として表現される。
• 拡散係数の楕円性や非退化性の仮定が一切不要であり、従来の結果をより広いSDEのクラスへと拡張する。
• 支配的測度の族の下での双対的定式化により、値関数が同値測度の族上の期待値として表現可能となり、確率論的構成を容易にする。
• 値関数とBSDE解との関係は、粘性解理論やHJB PDEの一意性に依存せず、確率論的議論によって確立される。
• 制御のランダム化技術により、元の制御問題がジャンプ・拡散フレームワークに自然に埋め込まれ、標準的なBSDEの道具が利用可能になる。
• 非正のジャンプを伴うBSDEの最小解は、値関数と一致し、ハミルトニアン＝ジャコビ＝ベルルマン方程式の経路依存的一般化を提供する。