[論文レビュー] FBSDE based Neural Network Algorithms for High-Dimensional Quasilinear Parabolic PDEs

Wenzhong Zhang, Wei Cai|arXiv (Cornell University)|Dec 14, 2020

Advanced Mathematical Modeling in Engineering被引用数 4

ひとこと要約

本稿では、高次元の準線形放物型PDEを解くための、FBSDEに基づく2つの深層ニューラルネットワーク（DNN）アルゴリズムを提案する。本手法は、離散化されたFBSDEとDNNで近似された解との間のパスごとの差を用いてネットワークを学習する。この方法は、Euler–Maruyama離散化と同等のほぼ半次の収束速度を達成し、精度を向上させるためにリチャードソン補外法を適用可能にし、100次元のブラック・ショールズ・バーレンブロット方程式に対して、周期的解の近似においてマルチスケールDNNアーキテクチャを用いることで性能が向上することを示している。

ABSTRACT

In this paper, we propose forward and backward stochastic differential equations (FBSDEs) based deep neural network (DNN) learning algorithms for the solution of high dimensional quasilinear parabolic partial differential equations (PDEs), which are related to the FBSDEs by the Pardoux-Peng theory. The algorithms rely on a learning process by minimizing the pathwise difference between two discrete stochastic processes, defined by the time discretization of the FBSDEs and the DNN representation of the PDE solutions, respectively. The proposed algorithms are shown to generate DNN solutions for a 100-dimensional Black--Scholes--Barenblatt equation, accurate in a finite region in the solution space, and has a convergence rate similar to that of the Euler--Maruyama discretization used for the FBSDEs. As a result, a Richardson extrapolation technique over time discretizations can be used to enhance the accuracy of the DNN solutions. For time oscillatory solutions, a multiscale DNN is shown to improve the performance of the FBSDE DNN for high frequencies.

研究の動機と目的

• 機械学習を用いた高次元の準線形放物型PDEの解法における次元の呪いを克服すること。
• 前向き・後向き確率微分方程式（FBSDE）に基づく数学的に整合性のあるDNN学習スキームの開発。
• 高次元PDEのDNN解の収束性と精度を向上させること、特に周期的または複雑な解構造を有する問題に対して。
• リチャードソン補外法とマルチスケールDNNアーキテクチャを用いて、時間周期的問題における誤差低減を可能にすること。

提案手法

• Pardoux–Peng理論を用いて、PDEの解を前向きSDEと関連づけた後向き確率過程として定式化する。
• DNN出力と時間離散化されたFBSDEプロセスとの間のパスごとの差を最小化することで、DNNによる解の近似を学習する。
• 損失関数は、PDEの終端条件と、FBSDE離散化から導かれる確率過程とDNN出力との乖離を組み合わせる。
• FBSDEの時間離散化にEuler–Maruyamaスキームを用い、サンプルパス上で確率的勾配降下法によりDNNを学習する。
• 周期的解のためには、入力をサブネットワークごとにスケーリングするマルチスケールDNN（MscaleDNN）を採用し、異なる時間周波数を捉える。
• 異なる時間離散化レベルにおいてリチャードソン補外法を適用し、DNN解の収束速度と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 FBSDEに基づくDNNアルゴリズムは、高次元の準線形放物型PDEに対して、基礎となるEuler–Maruyama離散化と同等の収束速度を達成できるか？
• RQ2 FBSDE離散化とDNN近似との間のパスごとの差を効果的に最小化することで、数値的一致性を確保できるか？
• RQ3 観察された収束次数を踏まえて、PDEのDNN解にリチャードソン補外法を適用することが可能で、精度向上に寄与するか？
• RQ4 マルチスケールDNNアーキテクチャは、高次元PDEにおける時間周期的解の近似を顕著に改善するか？

主な発見

• 提案されたFBSDEに基づくDNNアルゴリズムは、FBSDE離散化に用いられるEuler–Maruyamaスキームのほぼ半次の強収束と同等の収束速度を達成する。
• 100次元のブラック・ショールズ・バーレンブロット方程式に対して、解空間の有限領域内で高精度な解が得られる。
• 複数の時間離散化レベルにわたってリチャードソン補外法を適用すると、誤差が約半減し、DNN解の収束次数が裏付けられる。
• パラメータα=0.025、β=0.25、γ=32の周期的時間依存解に対して、マルチスケールDNN（MscaleDNN）は全結合DNNに比べて全体の誤差を50%低減する。
• 数値実験により、MscaleDNNは周期的PDEのサンプルパスの追跡精度が向上しており、より正確なパス予測が可能であることが示された。