[論文レビュー] Neural networks-based algorithms for stochastic control and PDEs in finance

Maximilien Germain, Huyên Pham+1 more|arXiv (Cornell University)|Jan 20, 2021

Neural Networks and Applications参考文献 62被引用数 16

ひとこと要約

この論文は、深層学習に基づくアルゴリズムを用いて、ファイナンス分野における高次元確率的制御問題と非線形PDEを解く手法を提示している。ニューラルネットワークを活用することで、次元の呪いを克服する。1000次元まで達する高次元問題においても、高い精度で解を得られる、新規のBSDEベースおよび汎用的な機械学習スキームを導入し、CVA価格設定とポートフォリオ選択の実証的検証を実施している。

ABSTRACT

This paper presents machine learning techniques and deep reinforcement learningbased algorithms for the efficient resolution of nonlinear partial differential equations and dynamic optimization problems arising in investment decisions and derivative pricing in financial engineering. We survey recent results in the literature, present new developments, notably in the fully nonlinear case, and compare the different schemes illustrated by numerical tests on various financial applications. We conclude by highlighting some future research directions.

研究の動機と目的

• 金融工学における非線形PDEおよび確率的制御問題を解く際の次元の呪いに対処すること。
• 高次元設定における半線形および完全非線形PDEに対して、深層学習に基づくアルゴリズムを開発・比較すること。
• CVA価格設定やポートフォリオ選択などの実世界のファイナンス応用における数値的検証を提供すること。
• モデルフリーおよびモデルベースの強化学習アプローチを含む、平均場制御およびゲームに機械学習技術を拡張すること。
• 解の精度とスケーラビリティを向上させるために、対称的ニューラルネットワークやパス・シグネチャーなどの新規アーキテクチャを検討すること。

提案手法

• 空間離散化を伴わずに、高次元の価値関数および制御方策を深層ニューラルネットワークで近似する。
• 後向き確率微分方程式（BSDE）表現を用いて、PDEを深層学習で解ける回帰問題に変換する。
• 高次元問題における収束性と分散低減を向上させるために、マルチステップおよびマージド深層BSDEスキームを実装する。
• 未知のダイナミクスを有する制御問題を解くために、経験リプレイとQ学習を用いた強化学習を採用する。
• 粒子間の交換可能性を強制することで、平均場制御問題をモデル化するため、対称的かつ置換不変なニューラルネットワークを用いる。
• パス依存PDEを解くために、リッチパス理論からのパス・シグネチャーをLSTMネットワークの入力特徴量として統合し、表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 深層学習に基づくアルゴリズムは、デリバティブ価格設定やポートフォリオ最適化に現れる高次元非線形PDEを効果的に解くことができるか？
• RQ2 マルチステップおよびマージド深層BSDEスキームは、高次元問題において、精度と安定性の観点でどのように比較されるか？
• RQ3 対称的ニューラルネットワークを用いて粒子の置換不変性を強制することで、平均場制御問題の解法にどの程度向上が見られるか？
• RQ4 経験リプレイを用いた強化学習は、既知のモデルがない状況でも確率的制御問題を効果的に解くことができるか？
• RQ5 パス・シグネチャーを入力特徴量として用いることで、パス依存PDEを解くニューラルネットワークの性能はどの程度向上するか？

主な発見

• 提案された深層学習ベースのアルゴリズムは、次元が1000に達するまでPDEおよび制御問題に対して高い精度で解を得ており、古典的手法の有限差分法を著しく上回っている。
• マルチステップ深層BSDEスキームは、1ステップスキームと比較して、結果の標準偏差を最大50％まで低減し、高次元設定における安定性を向上させた。
• d=10の9資産ノーレバレッジ問題において、120時間ステップを用いた2MDBDPスキームは相対誤差2.87％を達成し、1ステップベースラインを上回った。
• LSTMネットワークへのパス・シグネチャーの使用は、パス依存PDEにおいて、標準的な離散化パスよりも優れた性能を発揮した。
• 対称的ニューラルネットワークは、粒子の置換不変性を強制することで、平均場制御問題の効果的解法を可能にし、一般化性能を向上させた。
• 経験リプレイを用いた強化学習は、モデルフリー制御問題を効果的に解くことに成功し、未知のダイナミクスの状況への適用可能性を示した。