[論文レビュー] Stochastic Control on Space of Random Variables

Alain Bensoussan, P. Jameson Graber+1 more|arXiv (Cornell University)|Mar 29, 2019

Stochastic processes and financial applications参考文献 3被引用数 7

ひとこと要約

この論文は、L²(Ω, F, P) 上の平方可積分確率変数からなるヒルベルト空間における確率的制御にリヨンズのリフト法を拡張し、平均場型制御問題と確率的制御問題の間の関係を確立している。ゲートオー微分を用いてHJB-FP系を導出し、値関数が古典的HJB-FP方程式を満たすことを証明するとともに、ベルマン方程式の微分によってマスタ方程式を導出している。

ABSTRACT

By extending \cite{bensoussan2015control}, we implement the proposal of Lions \cite{lions14} on studying mean field games and their master equations via certain control problems on the Hilbert space of square integrable random variables. In \cite{bensoussan2015control}, the Hilbert space could be quite general in the face of the "deterministic control problem" due to the absence of additional randomness; while the special case of $L^2$ space of square integrable random variables was brought in at the interpretation stage. The effectiveness of the approach was demonstrated by deriving Bellman equations and the first order master equations through control theory of dynamical systems valued in the Hilbert space. In our present problem for second order master equations, it connects with a stochastic control problem over the space of random variables, and it possesses an additional randomness generated by the Wiener process which cannot be detached from the randomness caused by the elements in the Hilbert space. Nevertheless, we demonstrate how to tackle this difficulty, while preserving most of the efficiency of the approach suggested by Lions \cite{lions14}.

研究の動機と目的

• 平均場ゲームをヒルベルト空間上の制御として扱うリヨンズの手法を、ウィーナーノイズを伴う確率的状況に拡張すること。
• 確率変数の空間における値関数と平均場型制御の古典的HJB-FP系との間の厳密な関係を確立すること。
• この枠組みにおいてベルマン方程式を微分することで、マスタ方程式を形式的に導出できることを示すこと。
• ヒルベルト空間設定下で、ウィーナー過程の確率的性質と確率変数の分布が複雑に絡み合う問題に対処すること。

提案手法

• 平均場制御問題を、L²(Ω, F, P) 上のヒルベルト空間へリフトし、状態をL²(Ω, F, P) の要素として扱う。
• ウィーナー過程によって駆動され、制御に依存するドリフトを持つ、この空間上での確率的制御問題を定義する。
• 確率的微分積分法とゲートオー微分を用いて、値関数のハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出する。
• エンvelope定理と双対性を用いて、値関数の勾配と随伴過程との関係を特定し、最適制御を導出する。
• 制御された過程の流れを分析することで、押し出し測度（pushforward measure）のフォッカー＝プランク方程式を導出する。
• リフトされた問題の解が最適軌道に沿って微分されることにより、マスタ方程式に対応することを確認することで、値関数が古典的HJB-FP系を満たすことを示す。

実験結果

リサーチクエスチョン

• RQ1 平均場ゲームのマスタ方程式は、確率変数の空間における確率的制御問題からどのように導出可能か？
• RQ2 状態空間がL²(Ω, F, P) である場合、ウィーナー過程が制御問題において果たす役割は何か？
• RQ3 確率変数の空間における値関数は、平均場型制御の古典的HJB-FP系とどのように関係しているか？
• RQ4 値関数の第一および第二階微分のゲートオー微分を用いることで、HJB方程式およびフォッカー＝プランク方程式を回復できるか？
• RQ5 確率変数の空間における値関数が、確率変数の分布にのみ依存する条件は何か？

主な発見

• 確率変数の空間における値関数はHJB-FP系を満たし、HJB方程式は−∂u/∂s + Au + (1/(2λ))|Du|² = F(x, m(s)) で与えられ、終端条件はu(x,T) = F_T(x, m(T)) である。
• 押し出し測度のフォッカー＝プランク方程式は∂m/∂s + Am − (1/λ)div(mDu) = 0 で与えられ、初期条件はm(x,t) = m(x) である。
• 最適制御はu_xmt(s) = −(1/λ)z_xmt(s) で与えられ、ここでz_xmt(s) は最適軌道に沿った値関数の勾配である。
• 値関数の勾配はD_x u_m(x,t) = D_x (∂V(m,t)/∂m)(x) を満たし、マスタ方程式フレームワークと整合的であることが確認された。
• HJB-FP方程式系はベルマン方程式の微分により導出されており、随伴過程z_xmt(s) は値関数の微分として特定される。
• L²(Ω, F, P) 上のリフトされた確率的制御問題の解は、古典的平均場制御方程式を回復する。これにより、確率的状況下でのリフト法の有効性が裏付けられた。