[論文レビュー] Deep Learning Methods for Mean Field Control Problems with Delay

Jean‐Pierre Fouque, Zhaoyu Zhang|arXiv (Cornell University)|May 1, 2019

Stochastic processes and financial applications参考文献 18被引用数 5

ひとこと要約

本稿では、遅れ付きの平均場制御問題を解くための2つの深層学習ベースの数値アルゴリズムを提案する。ニューラルネットワークを用いて最適制御を近似するか、McKean-Vlasov前向き・予測型後向き確率微分方程式（MV-FABSDE）を解く。このような問題に対して必要なかつ十分な確率的最適性原理を確立し、継続法を用いてMV-FABSDE解の存在および一意性を証明することで、解析的手法では失敗する高次元の数値解法を可能にする。

ABSTRACT

We consider a general class of mean field control problems described by stochastic delayed differential equations of McKean-Vlasov type. Two numerical algorithms are provided based on deep learning techniques, one is to directly parameterize the optimal control using neural networks, the other is based on numerically solving the McKean-Vlasov forward anticipated backward stochastic differential equation (MV-FABSDE) system. In addition, we establish a necessary and sufficient stochastic maximum principle for this class of mean field control problems with delay based on the differential calculus on function of measures, as well as existence and uniqueness results for the associated MV-FABSDE system.

研究の動機と目的

• 状態および制御の両方に時間遅れ付きのダイナミクスを有する平均場制御問題を解く課題に対処すること。解析的解が存在しない。
• 高次元設定において最適制御を近似するか、関連するMV-FABSDEシステムを解くための深層学習に基づく数値アルゴリズムを開発すること。
• 確率測度の微分積分学を用いて分布的依存性を組み込んだ形で、遅れ付き平均場制御問題に対する厳密な確率的最適性原理を確立すること。
• 係数のリプシッツ連続性および有界性条件のもとで、継続法を用いてMV-FABSDEシステムの解の存在および一意性を証明すること。
• 提案されたアルゴリズムを線形・二次遅れ付き平均場制御モデルに対して検証し、遅れなしの場合の既知の明示解と比較してベンチマークを実施すること。

提案手法

• 遅延状態過程の非マルコフ的ダイナミクスをモデル化するために長短期記憶（LSTM）ネットワークを用い、データ系列内の長期的依存関係を捉える。
• 強化学習におけるポリシー勾配法に類似した、ニューラルネットワークによって最適制御を直接パラメータ化する深層学習アルゴリズムを提案する。
• アドジョイント過程およびその条件付き期待値をニューラルネットワークを用いて近似することで、MV-FABSDEシステムを解く代替アルゴリズムを構築する。
• 係数のリプシッツ連続性および有界性条件のもとで、MV-FABSDE解の存在および一意性を証明するために継続法を適用する。
• 将来の条件付き期待値および分布的依存性を考慮した、McKean-Vlasov型の予測型後向き確率微分方程式（BSDE）としてアドジョイント過程を導出する。
• 確率測度関数の微分積分学を用いて、最適性の必要十分条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 深層学習技術は、状態および制御の両方に時間遅れを有する高次元平均場制御問題を効果的に解くことができるか？
• RQ2 分布的依存性に遅れ効果を組み込むことで、確率的最適性原理をどのように拡張できるか？
• RQ3 遅れ付き平均場制御問題から生じるMV-FABSDEシステムの解を近似するために、どのような深層学習に基づく数値手法が利用可能か？
• RQ4 MV-FABSDEシステムが一意な解を有する条件は何か？ そして、継続法を用いてその存在・一意性をどのように証明できるか？
• RQ5 直接制御パラメータ化とMV-FABSDE解法の2つの提案アルゴリズムは、性能および精度においてどのように比較されるか？

主な発見

• 提案された深層学習アルゴリズムは、線形・二次遅れ付き平均場制御モデルにおいて一貫した数値結果をもたらし、信頼性を裏付けた。
• 確率測度関数の微分積分学を用いて、遅れ付き平均場制御問題に対して、必要かつ十分な確率的最適性原理が厳密に確立された。
• 標準的なリプシッツ連続性および有界性条件のもとで、継続法を用いてMV-FABSDE解の存在および一意性が証明された。
• LSTMネットワークの使用により、遅れダイナミクスにおける長期的依存関係が効果的に捉えられ、通常のRNNの制限を克服した。
• 深層学習を用いた条件付き期待値の計算手法は、実装が簡単で、本研究の具体的な問題を超えて広く応用可能である。
• 遅れなしのケースでは、提案アルゴリズムが既知の明示解を回復し、正確性およびベンチマークの妥当性を確認した。