[論文レビュー] Numerically Solving Parametric Families of High-Dimensional Kolmogorov Partial Differential Equations via Deep Learning

Julius Berner, Markus Dablander+1 more|arXiv (Cornell University)|Jan 1, 2020

Stochastic processes and financial applications被引用数 17

ひとこと要約

本稿では、Feynman-Kac公式を用いて、高温およびBlack-Scholes方程式など、高次元のパラメトリックなKolmogorov PDEの族を、統計的学習問題への再定式化によって解くための深層学習手法を提案する。この手法は、1つの深層ニューラルネットワークを用いて、すべてのパラメータおよび空間時間点における解を同時に近似する。理論的および実験的両面で次元の呪いが生じない、堅牢な性能を示している。

ABSTRACT

We present a deep learning algorithm for the numerical solution of parametric families of high-dimensional linear Kolmogorov partial differential equations (PDEs). Our method is based on reformulating the numerical approximation of a whole family of Kolmogorov PDEs as a single statistical learning problem using the Feynman-Kac formula. Successful numerical experiments are presented, which empirically confirm the functionality and efficiency of our proposed algorithm in the case of heat equations and Black-Scholes option pricing models parametrized by affine-linear coefficient functions. We show that a single deep neural network trained on simulated data is capable of learning the solution functions of an entire family of PDEs on a full space-time region. Most notably, our numerical observations and theoretical results also demonstrate that the proposed method does not suffer from the curse of dimensionality, distinguishing it from almost all standard numerical methods for PDEs.

研究の動機と目的

• 次元の呪いにより標準的手法では取り扱えない高次元パラメトリックKolmogorov PDE族の数値的解法の挑戦に応えること。
• 1回の学習プロセスでパラメータ、空間、時間領域全体の解写像を学習できるスケーラブルでデータ駆動型のアプローチを開発すること。
• 深層学習が、高次元において古典的PDEソルバーの指数的計算コストを回避できることを、実験的および理論的に示すこと。

提案手法

• Kolmogorov PDEのパラメトリック族の解を、Feynman-Kac公式を用いて統計的学習問題に再定式化し、PDEの解と確率過程の期待値を関連付ける。
• パラメータ、空間座標、時間から解の値へのマッピングを学習するための深層ニューラルネットワークを訓練し、全ドメインにわたるパラメトリック解写像 $\bar{u}(\gamma, x, t) = u_\gamma(x, t)$ を効果的に学習する。
• トレーニングの安定性と汎化性能を向上させるために、残差接続とバッチ正則化を備えたマルチレベルアーキテクチャを採用する。
• シミュレートされたデータ上で、適応的学習率スケジューリングと重み減衰を用いた確率的勾配降下法でネットワークパラメータを最適化する。
• 訓練データの生成にモンテカルロ近似を活用し、潜在的な確率過程を正確に表現する。
• パラボロイド初期条件を伴う熱方程式およびアフィン線形係数を有するBlack-Scholesモデルを含むベンチマーク問題で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、すべてのパラメータ、空間、時間にわたる高次元Kolmogorov PDE族の解写像を学習できるか？
• RQ2 理論的および実験的両面で示されるように、提案手法が近似誤差および一般化誤差の面で次元の呪いを回避するか？
• RQ3 バッチ正則化を備えたマルチレベルアーキテクチャの性能は、パラメトリックPDEを解く際の標準的な順方向ネットワークと比べてどの程度優れているか？
• RQ4 この手法は、解の予測に加えて、オプションプライシングにおけるベガのようなパラメトリック微分についても、どの程度正確に予測できるか？
• RQ5 トレーニングで用いられる経験的リスク最小化手順は、問題の次元が増加するに従い、効率的にスケーリングできるか？

主な発見

• 提案手法は、パラボロイド初期条件を伴うBlack-Scholesモデルにおいて、$\mathcal{L}^1$-誤差約 $0.0011$ を達成し、順方向ベースラインを著しく上回った。
• パラボロイド初期条件を伴う熱方程式に関しては、対数対数プロットで計算コストが次元に対して線形に増加することが確認され、次元 $d=15$ まで次元の呪いが生じないことを示した。
• バッチ正則化および残差接続を備えたマルチレベルアーキテクチャは、Black-Scholesモデルにおける平均 $\mathcal{L}^1$-誤差を $0.0012$ にまで低下させたのに対し、正則化なしの標準的な順方向ネットワークでは $0.0526$ にとどまった。
• 図6および図8に示すように、手法は解の予測に加え、パラメトリック微分（ベガ）の予測についても平均相対誤差 $10^{-2}$ 未満を達成した。
• 実験的結果から、1エポックあたりのトレーニング時間は次元に対して劣線形にスケーリングし、コンact集合 $D$ 内の未観測パラメータ値に対しても良好な汎化性能を示した。
• 理論的分析により、ネットワークサイズおよびサンプルサイズの観点から、この手法は次元の呪いに苦しまず、古典的数値PDEソルバーと比較して顕著な利点を有することが確認された。