[論文レビュー] Forward-Backward Stochastic Neural Networks: Deep Learning of High-dimensional Partial Differential Equations

Maziar Raissi|arXiv (Cornell University)|Apr 19, 2018

Model Reduction and Neural Networks被引用数 45

ひとこと要約

本論文は Forward-Backward Stochastic Neural Networks (FBSNNs) を提案し、ニューラルネットワークで解 u(t,x) を表現し、離散化された forward-backward SDE を通じて訓練することにより高次元 PDE の解を近似し、空間-時間の任意の場所で u(t,x) を評価できるようにする。

ABSTRACT

Classical numerical methods for solving partial differential equations suffer from the curse dimensionality mainly due to their reliance on meticulously generated spatio-temporal grids. Inspired by modern deep learning based techniques for solving forward and inverse problems associated with partial differential equations, we circumvent the tyranny of numerical discretization by devising an algorithm that is scalable to high-dimensions. In particular, we approximate the unknown solution by a deep neural network which essentially enables us to benefit from the merits of automatic differentiation. To train the aforementioned neural network we leverage the well-known connection between high-dimensional partial differential equations and forward-backward stochastic differential equations. In fact, independent realizations of a standard Brownian motion will act as training data. We test the effectiveness of our approach for a couple of benchmark problems spanning a number of scientific domains including Black-Scholes-Barenblatt and Hamilton-Jacobi-Bellman equations, both in 100-dimensions.

研究の動機と目的

• ニューラルネットワークを用いて高次元 PDE を解く際の次元の呪いを動機づけ、対処する。
• 未知の解 u(t,x) をニューラルネットワークとして学習し、その勾配 Du(t,x) を自動微分で取得する。
• forward-backward SDE とパラボリック PDE の関係を活用し、ネットワークを Euler–Maruyama の離散化で訓練する。
• 全体の解曲面 u(t,x) を提供する統一的な枠組みを実現し、初期時刻の値だけでなく全体像を得る。
• Black-Scholes-Barenblatt や Hamilton-Jacobi-Bellman 方程式などの100次元の標準問題への適用可能性を示す。

提案手法

• 未知の解 u(t,x) を深層ニューラルネットワークで近似し、Du(t,x) を自動微分で計算する。
• forward-backward SDE をパラボリック PDE に関連付け、Yt=u(t,Xt) および Zt=Du(t,Xt) が成立するようにし、SDE データを用いて PDE 解を導く。
• Euler-Maruyama で FBSDE 系を離散化し、複数の Brownian realizations にわたってダイナミクスと終端条件を満たす損失を定義する。
• 損失を最小化するように Adam 最適化でネットワークを訓練し、グローバルな解の表面 u(t,x) を学習する。
• 時間離散化を通じたパラメータ爆発を避けるため、u(t,x) の1つのニューラルネットワークを用いて Du(t,x) のパラメータも共有する。

実験結果

リサーチクエスチョン

• RQ1 PDE の解を表すニューラルネットワークを訓練して、前向き後向き SDE を通じて高次元の発散性 PDE を正確に近似できるか。
• RQ2 このアプローチは初期値 u(0,ξ) だけでなく、空間-時間全体の解 u(t,x) を単一の訓練ラウンドで得られるか。
• RQ3 Black-Scholes-Barenblatt および Hamilton-Jacobi-Bellman 方程式のような100次元のベンチマーク問題での性能はどうか。
• RQ4 初期時刻の値だけを近似する従来手法と比較して、精度と計算効率はどうか。
• RQ5 自動微分は高次元 PDE に必要な勾配 Du(t,x) を信頼して提供できるか。

主な発見

• FBSNN フレームワークは、100D 問題を単一の訓練ラウンドで全体の解関数 u(t,x) を近似できる。
• この方法は、メッシュベースおよびニューラルネットワークの従来手法と比較して、精度と速度の点で競争力があり、100D 問題での明示的な結果を示す。
• 自動微分により、有限差分を用いずに正確な勾配計算 Du(t,x) が可能となり、u と Du の共有ニューラルネットワークを活用する。
• 複数の Brownian 運動 realizations（例: M=100）を用いて損失を駆動し、forward-backward ダイナミクスを強制する。
• このアプローチは、初期値だけでなく、代表的な高次元パス全体にわたる Yt=u(t,Xt) の軌跡推定を得られる。