[論文レビュー] An overview on deep learning-based approximation methods for partial differential equations

Christian Beck, Martin Hutzenthaler+2 more|arXiv (Cornell University)|Dec 22, 2020

Model Reduction and Neural Networks被引用数 31

ひとこと要約

本論文は深層学習アプローチが高次元PDEを近似する方法を概説し、線形および非線形の手法（deep Galerkin および deep splitting など）、理論的洞察、シミュレーション、および利用可能なコードを詳述しています。

ABSTRACT

It is one of the most challenging problems in applied mathematics to approximatively solve high-dimensional partial differential equations (PDEs). Recently, several deep learning-based approximation algorithms for attacking this problem have been proposed and tested numerically on a number of examples of high-dimensional PDEs. This has given rise to a lively field of research in which deep learning-based methods and related Monte Carlo methods are applied to the approximation of high-dimensional PDEs. In this article we offer an introduction to this field of research by revisiting selected mathematical results related to deep learning approximation methods for PDEs and reviewing the main ideas of their proofs. We also provide a short overview of the recent literature in this area of research.

研究の動機と目的

• 高次元PDEの解法の課題を紹介し、学習ベースのアプローチを動機づける。
• 特に線形 Kolmogorov（熱方程式）を含む線形PDEに関する主要な深層学習ベースの手法をレビュー・整理する。
• 非線形PDEの技術を提示・概説し、主に 2 つの手法: the deep Galerkin method と the deep splitting method。
• 理論的文脈を提供し、PDE近似における次元の呪いを克服することに関する部分的な結果を議論する。
• シミュレーションのガイダンスを提供し、実装例を示すソースコードを提供する。

提案手法

• Feynman–Kac 表現を用いて線形PDEを無限次元の確率的最適化問題として定式化する。
• 深層ニューラルネットワークと、それらをPDE解法のパラメトリック関数近似器として実現する方法を説明する。
• 確率的サンプルに対する期待二乗誤差を最小化することによって、線形PDEのための具体的な深層学習ベースの枠組みを概説する。
• 2つの非線形PDEアプローチを詳述する: the deep Galerkin method と the deep splitting method、それぞれに対応する損失汎関数。
• 方法を illustrat eするための簡単な PyTorch 実装を提供し、より一般的な Kolmogorov PDE への拡張を議論する。

実験結果

リサーチクエスチョン

• RQ1 線形および非線形PDEを、ニューラルネットワーク近似に適した確率的最適化問題として再定義するにはどうすればよいか。
• RQ2 深層ニューラルネットワークは高次元でPDE解を効率的に近似できるのか、次元の呪いを克服しうるのか。
• RQ3 深層学習ベースのPDE近似手法の理論的保証と限界は何か。
• RQ4 semilinear / nonlinear PDEに対して、conceptualかつ実践的には deep Galerkin と deep splitting の比較はどうなるか。
• RQ5 高次元問題でこれらの手法を実証する実用的な実装とシミュレーションは何か。

主な発見

• 深層学習ベースの近似は、PDEを解がPDE解に対応する確率的最適化問題へと再構成できる。
• DNNは高次元領域上のPDE解を近似する柔軟な関数クラスとして機能できる。
• the deep Galerkin method は、PDEと端点条件を組み込んだ損失を最小化することによって半線形PDEを解く枠組みを提供し、最適化とPDEの充足性を結ぶ。
• the deep splitting method および他のアプローチは、ニューラルPDEソルバーを非線形設定へ拡張し、実用的なアルゴリズムとそれに伴う理論を提供する。
• シミュレーションとコードは、高次元問題に対する実現可能性と性能を示す一方、次元の呪いを克服する完全な理論的正当化は依然一部であることを認めている。
• 本論文には方法の再現を支援する明示的な PyTorch 例が含まれている。