[論文レビュー] On optimal mean-field type control problems of stochastic systems with jump processes under partial information

Yaozhong Hu, David Nualart+1 more|arXiv (Cornell University)|Mar 18, 2014

Stochastic processes and financial applications参考文献 10被引用数 5

ひとこと要約

本稿は、部分観測下における跳躍過程を伴う確率的フォワード系の最適平均場型制御に対して、マリヤンギン微積分を用いて明示的な随伴方程式を導出することで、最大原理を確立する。主な貢献は、フィルタリングを通じて平均場項と部分的情報が統合された最適性の必要条件であり、線形二次型の例を通じて明示的なフィードバック制御設計が検証されている。

ABSTRACT

This paper considers the problem of partially observed optimal control for forward stochastic systems which are driven by Brownian motions and an independent Poisson random measure with a feature that the cost functional is of mean-field type. When all the system coefficients and the objective performance functionals are allowed to be random, possibly non-Markovian, Malliavin calculus is employed to derive a maximum principle for the optimal control of such a system where the adjointprocess is explicitly expressed. We also investigate the mean-field type optimal control problems for systems driven by mean-field type stochastic differential equations (SDEs in short) with jump processes, in which the coefficients contain not only the state process but also its marginal distribution under partially observed information. The maximum principle is established using convex variational technique with an illustrating example about linear-quadratic optimal control.

研究の動機と目的

• ブラウワー運動とポアソン確率測度によって駆動される確率的システムにおける最適制御問題を、状態が部分的にしか観測されない状況で取り扱う。
• 係数が状態過程の分布に依存する平均場型ダイナミクスを有するシステムに、最大原理を拡張する。
• コスト関数および状態ダイナミクスに確率的かつ非マルコフ型の係数を組み込み、より広範な適用可能性を実現する。
• 観測フィルトレーションに適応する制御のもとで、マリヤンギン微積分を用いて部分的情報下での必要最適性条件を導出する。
• 線形二次型（LQ）制御例を通じて理論的枠組みを検証し、明示的なフィードバック制御則を提示する。

提案手法

• ブラウワー運動と独立なポアソン確率測度によって駆動される、跳躍を伴うフォワード平均場型SDEとして状態ダイナミクスを定式化する。
• 観測の不確実性を、制御が観測フィルトレーション $ \mathscr{F}_t^Y $ に適応するノイズ信号過程 $ dY(t) = h(t,x^v(t))dt + dW_2(t) $ としてモデル化する。
• マリヤンギン微積分を用いて随伴過程 $ (p,q,R) $ を導出し、コスト状態変数の後向きSDEを明示的に表現する。
• 状態、その期待値、および制御に依存する係数を有するハミルトニアン関数 $ H $ を導入し、漂移項、拡散項、ジャンプ項、観測項を統合する。
• 凸変分的技術を用いて最大原理を導出し、観測フィルトレーションに関する条件付き期待値を含む必要条件を導出する。
• 線形二次型例を解くために、フィードバック制御則 $ u(t) = -\frac{1}{\rho(t)O(t)} \mathbb{E}[C(t)p(t) + F(t)q(t) + \int R(t,z)I(t,z)\mu(dz) \mid \mathscr{F}_t^Y] + M(t) $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 部分観測下におけるジャンプ拡散を伴う平均場型制御問題に対して、どのように最大原理を導出できるか？
• RQ2 確率的かつ非マルコフ型係数および部分的情報が存在する状況下で、随伴過程の明示的形はどのように表れるか？
• RQ3 マリヤンギン微積分は、非マルコフ型かつ部分観測下の設定において、必要最適性条件の導出をどのように支援するか？
• RQ4 理論的枠組みとしての最大原理は、平均場およびジャンプ成分を有する線形二次型（LQ）制御問題に適用可能か？
• RQ5 このような部分観測下における平均場ジャンプ系において、最適制御の構造は観測フィルトレーションの観点からどのように特徴づけられるか？

主な発見

• 部分観測下におけるジャンプ過程を伴う平均場型制御問題に対して、ハミルトニアンおよび随伴過程を含む条件付き期待値として表現される必要最適性条件が導出された。
• 随伴過程 $ (p,q,R) $ は、平均場項を含み、観測プロセスに依存する後向きSDEによって明示的に特徴づけられる。
• 線形二次型例において、最適制御は観測フィルトレーションに関するコスト状態変数の条件付き期待値の線形フィードバックとして示された。
• 最適制御則は $ u(t) = -\frac{1}{\rho(t)O(t)} \mathbb{E}[C(t)p(t) + F(t)q(t) + \int R(t,z)I(t,z)\mu(dz) \mid \mathscr{F}_t^Y] + M(t) $ として与えられ、LQ設定下では明示的に計算可能である。
• 係数が確率的かつ非マルコフ型であっても、最大原理は有効であり、従来のマルコフ型または完全情報の仮定を要する結果を拡張している。
• マリヤンギン微積分の使用により、随伴過程の明示的表現が得られ、これは実装および最適性の検証において極めて重要である。