[論文レビュー] Randomization method and backward SDEs for optimal control of partially observed path-dependent stochastic systems

Elena Bandini, Andrea Cosso+2 more|arXiv (Cornell University)|Nov 30, 2015

Stochastic processes and financial applications参考文献 31被引用数 9

ひとこと要約

本稿では、ランダム化法を用いて、部分的に観測可能でパスに依存する確率的制御問題の価値関数に対する後向きSDE表現を構築する。測度の変更を介して制御問題を再定式化し、双対BSDEと関連付けることで、マルコフ的かつ非退化でない設定に限らない一般解法枠組みを確立する。これにより、数学的ファイナンスおよび確率的制御における複雑なシステムの数値的取り扱いが可能になる。

ABSTRACT

We consider a unifying framework for stochastic control problem including the following features: partial observation, path-dependence (both with respect to the state and the control), and without any non-degeneracy condition on the stochastic differential equation (SDE) for the controlled state process, driven by a Wiener process. In this context, we develop a general methodology, refereed to as the randomization method, studied in [23] for classical Markovian control under full observation, and consisting basically in replacing the control by an exogenous process independent of the driving noise of the SDE. Our first main result is to prove the equivalence between the primal control problem and the randomized control problem where optimization is performed over change of equivalent probability measures affecting the characteristics of the exogenous process. The randomized problem turns out to be associated by duality and separation argument to a backward SDE, which leads to the so-called randomized dynamic programming principle and randomized equation in terms of the path-dependent filter, and then characterizes the value function of the primal problem. In particular, classical optimal control problems with partial observation affected by non-degenerate Gaussian noise fall within the scope of our framework, and are treated by means of an associated backward SDE.

研究の動機と目的

• 部分的観測可能でパスに依存する確率的制御問題の価値関数に対する一般化された後向きSDE表現を提供すること。
• 従来、マルコフ的または非退化な設定に限定されていた既存の手法を、パス依存性および隠れ要因を組み込むことで拡張すること。
• 測度の変更を用いて、元の部分的観測制御問題とランダム化制御問題との間の同等性を確立すること。
• ランダム化された定式化を双対後向きSDEと結びつけることで、問題の数値的取り扱いを可能にすること。
• 制御されたSDEにおける非退化性条件の必要性を排除し、現実の金融モデルに広く適用可能にする。

提案手法

• ギリサンフの定理を用いた基準確率測度法を適用し、元の確率測度を変更することで、観測過程と制御された拡散過程が独立になるように変換する。
• 駆動ノイズとは独立な外生的過程に制御を置き換えることでランダム化技術を導入し、この過程に影響を与える同等測度の最適化を行う。
• 測度の変更に関する最適化を実行する補助的なランダム化制御問題を定式化し、元の問題の値を保持する。
• ランダム化問題の双対となる後向きSDE（BSDE）を構築し、その解が元の部分的観測系の価値関数を特徴付ける。
• 非正規化条件付き分布（ザカイ方程式を介して）を用いてフィルタリング信号を表現し、完全観測制御問題に再定式化可能にする。
• 新しい確率測度下でのランダム化ジャンプ測度の補償子が、制御経路の距離空間内での収束を保証することを証明する。

実験結果

リサーチクエスチョン

• RQ1 非退化性やマルコフ性の仮定を要さずに、部分的観測可能でパスに依存する確率的制御問題の価値関数に対する後向きSDE表現を確立できるか？
• RQ2 従来、完全観測設定でのみ用いられていたランダム化法を、ノイズが相関を持つ部分的観測系にどのように適応できるか？
• RQ3 測度の変更を介して、元の制御問題とランダム化制御問題との間の価値同等性および可測制御表現との関係は何か？
• RQ4 得られたBSDEは数値的に近似可能か？近似スキームの収束を保証する条件は何か？
• RQ5 新しい確率測度下で、ランダム化ジャンプ測度の補償子は、元の制御ダイナミクスとどのように関係しているか？

主な発見

• 元の部分的観測制御問題の価値関数は、ランダム化制御定式化から双対性を介して導かれた後向きSDEによって特徴付けられる。
• パス依存係数および相関ノイズを含む一般条件のもとで、元の問題とランダム化問題との同等性が厳密に確立されている。
• 拡散係数に対する非退化性条件の必要性が排除され、退化および隠れ要因モデルへの適用範囲が拡大された。
• ランダム化制御問題は、制御の距離空間内でのジャンプ過程の収束を介して、数値的近似が可能なBSDE表現を有する。
• ランダム化ジャンプ測度の補償子が有界かつ正の過程に収束することが示され、近似スキームの安定性と収束性が保証された。
• この枠組みにより、フィルタリングにザカイ方程式が使用可能となり、パス依存設定においても価値関数が完全観測BSDEの解を用いて表現可能になった。