[論文レビュー] Deep learning based numerical approximation algorithms for stochastic partial differential equations

Christian Beck, S. Becker+3 more|arXiv (Cornell University)|Dec 2, 2020

Stochastic processes and financial applications参考文献 93被引用数 10

ひとこと要約

本論文は、確率的熱方程式や非線形フィルタリングのザカイ方程式を含む、高次元確率的偏微分方程式（SPDE）を解くための深層学習ベースの数値アルゴリズムを提案する。ノイズ過程の各実現に対して深層ニューラルネットワークを用いて解の経路を近似することで、50次元までの空間次元において短時間で高精度な結果を達成し、金融工学やフィルタリング応用における複雑な高次元SPDEに対して有効であることを示している。

ABSTRACT

In this article, we introduce and analyze a deep learning based approximation algorithm for SPDEs. Our approach employs neural networks to approximate the solutions of SPDEs along given realizations of the driving noise process. If applied to a set of simulated noise trajectories, it yields empirical distributions of SPDE solutions, from which functionals like the mean and variance can be estimated. We test the performance of the method on stochastic heat equations with additive and multiplicative noise as well as stochastic Black-Scholes equations with multiplicative noise and Zakai equations from nonlinear filtering theory. In all cases, the proposed algorithm yields accurate results with short runtimes in up to 100 space dimensions.

研究の動機と目的

• 数学的ファイナンス、物理学、フィルタリングに現れる高次元確率的偏微分方程式（SPDE）を数値的に解く課題に対処すること。
• 従来の数値的手法における次元の呪いを、深層学習を活用することで克服すること。
• 加法的および乗法的ノイズを含むSPDE、特にザカイ方程式に対応できるスケーラブルで効率的かつ高精度なアルゴリズムを開発すること。
• 確率的熱方程式や確率的ブラック＝ショールズ方程式といったベンチマークSPDEに対して、手法を検証すること。
• 50次元までの高次元設定において、短時間の実行時間で深層学習ベースの近似が実用的かつ効果的であることを示すこと。

提案手法

• 各ノイズ過程の実現に対して、SPDEの解過程を近似するための深層ニューラルネットワークを採用する。
• フェインマン＝カック型表現を用いて解を再帰的最小化問題として定式化し、確率的勾配降下法による最適化を可能にする。
• 時間的離散化を補助確率過程に適用し、各時刻でニューラルネットワークを用いて逐次的に解を近似する。
• バッチ単位のノイズ実現を用いて、適応的学習率を用いた確率的勾配降下法によりニューラルネットワークを学習させる。
• 確率的熱方程式、ブラック＝ショールズ方程式、ザカイ方程式の各SPDEタイプに対して、損失関数およびネットワークアーキテクチャを最適化した具体的な実装を構築する。
• 検証のための学習・推論および参照解の計算を含め、PythonとTensorFlowを用いた実装を実施する。

実験結果

リサーチクエスチョン

• RQ1 古典的数値手法では解けない高次元SPDEの解を、深層学習ベースの手法が効果的に近似できるか？
• RQ2 加法的および乗法的ノイズを伴うSPDEに対して、提案手法の精度および計算効率はどの程度か？
• RQ3 深層ニューラルネットワークは、50次元までのさまざまな空間次元において、SPDEの解の経路をどの程度正確に捉えることができるか？
• RQ4 非線形フィルタリングにおけるザカイ方程式に関して、参照解と比較して相対誤差はどの程度か？
• RQ5 最小限のアーキテクチャ変更で、異なるSPDEタイプに一般化可能か？

主な発見

• 提案された深層学習ベースのアルゴリズムは、50次元までの空間次元において、さまざまな問題タイプに対して高精度な数値近似を達成し、堅牢性を示した。
• 加法的および乗法的ノイズを伴う確率的熱方程式に対して、高次元でも低相対誤差と短時間の実行時間を達成した。
• ザカイ方程式のケースでは、50次元のテストケースにおいて平均で1%未満の相対誤差を達成し、推論時間は10秒未塔であった。
• 高次元設定において、従来の数値スキームに比べてスケーラビリティおよび計算効率の面で優れた性能を示した。
• 適応的学習率（5000ステップおよび10000ステップの境界）を用いた確率的勾配降下法の使用により、学習の安定性と収束速度が顕著に向上した。
• モンテカルロ平均化による1000サンプルの参照解が信頼できるベンチマークを提供し、全テスト次元においてニューラルネットワークの予測値が期待値とよく一致した。