[論文レビュー] DGM: A deep learning algorithm for solving partial differential equations

Justin Sirignano, Konstantinos Spiliopoulos|RePEc: Research Papers in Economics|Aug 24, 2017

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、空間的・時間的点をランダムにサンプリングして勾配降下法で訓練する深層ニューラルネットワークを用いて、偏微分方程式（PDE）、初期条件、境界条件を満たすようにすることで、高次元の偏微分方程式（PDE）を解くメッシュフリーな深層学習アルゴリズム「デュアル・ガレルキン法（DGM）」を提案する。この手法は、200次元までのPDE、特に自由境界問題、ハミルトニアン＝ヤコビ＝ベルマン方程式、バーガー方程式に対しても正確な解を得ており、強力な近似性能と収束保証を示している。

ABSTRACT

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve high-dimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to $200$ dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

研究の動機と目的

• 従来のメッシュベースの手法（有限差分法など）が次元の呪いのため次元が高くなると非現実的になる高次元偏微分方程式（PDE）を解くという長年の計算課題に対処すること。
• 空間的・時間的点をランダムにサンプリングして勾配降下法で訓練する深層ニューラルネットワークを用いて、PDEの解を近似するメッシュフリーな深層学習アルゴリズムを開発すること。
• 準線形放物型PDEのクラスに対して理論的根拠を備えた収束保証を提供し、物理学、ファイナンス、工学分野における複雑なPDE問題への深層学習の応用範囲を拡張すること。
• 特に、半解析的解の存在しないファイナンス分野の応用例（高次元ポートフォリオのアメリカン・オプションの価格設定など）における高次元PDEに対して、アルゴリズムの精度を評価すること。

提案手法

• デュアル・ガレルキン法（DGM）は、ガレルキン法で用いられる従来の基底関数の線形結合の代わりに、深層ニューラルネットワークを用いてPDEの解を近似する。
• ネットワークは、空間的・時間的点をランダムにサンプリングして勾配降下法で訓練され、PDE作用素、初期条件、境界条件の違反に対するペナルティを最小化する損失関数を最適化する。
• メッシュ生成を回避するために、ドメイン全体に一様または確率的に点をサンプリングすることで、構造的メッシュが計算的に非現実的となる高次元へのスケーラビリティを実現する。
• アルゴリズムは準線形放物型PDEに適用され、弱収束とヴィタリの定理を用いた理論的収束が示され、$ L^\rho $ で $ \rho < 2 $ の範囲で強い収束が確認されている。
• 境界条件を含む場合、損失関数に境界条件を組み込み、一様有界性と同値連続性の仮定の下で境界値の収束が確立されている。
• この手法は、高次元のハミルトニアン＝ヤコビ＝ベルマンPDEやバーガー方程式を解くために拡張され、ネットワークは境界条件および物理的条件の連続体全体にわたる一般解を学習する。

実験結果

リサーチクエスチョン

• RQ1 メッシュに依存せずに、高次元PDEの微分作用素、初期条件、境界条件を満たすように深層ニューラルネットワークを効果的に訓練できるか？
• RQ2 深層ニューラルネットワークの近似性能は、準線形放物型PDEの解法においてどの程度であり、理論的収束を確立できるか？
• RQ3 デュアル・ガレルキン法は、半解析的解の存在しない高次元自由境界PDE（例えば、アメリカン・オプションの価格設定で生じるPDE）に対しても正確な解を得られるか？
• RQ4 境界条件および物理的条件の範囲が広がるようなPDE（例えば、入力が変化するバーガー方程式）に対して、DGMは一般解を学習する能力を有しているか？
• RQ5 古典的有限差分法が失敗する高次元（例：200次元）において、この手法は収束性と精度を維持できるか？

主な発見

• DGMは、200次元までの高次元自由境界PDEを成功裏に解き、任意の近似解に対して誤差境界を計算可能にし、厳密な精度評価を可能にした。
• 確率的熱方程式の最適制御から生じる高次元ハミルトニアン＝ヤコビ＝ベルマンPDEに対しても正確な解を得ており、確率的制御問題への応用可能性を示した。
• バーガー方程式に対しては、深層ニューラルネットワークが境界条件および物理的条件の連続体全体にわたる一般解を学習し、一度のトレーニングで高次元問題を効果的に解いた。
• 理論的分析により、ニューラルネットワーク近似が $ L^\rho $ で $ \rho < 2 $ の範囲で強く収束することが証明され、ヴィタリの定理と弱形式の収束を用いて示された。
• 一様有界性および同値連続性の仮定の下で、ニューラルネットワーク解が真の解に収束することが示され、列が同値連続であれば一様収束が保証された。
• メッシュベースの離散化を確率的サンプリングに置き換えることで、次元の呪いを回避し、高次元ドメインにおけるスケーラブルなトレーニングを可能にした。