[論文レビュー] A Discussion on Solving Partial Differential Equations using Neural Networks

Tim Dockhorn|arXiv (Cornell University)|Apr 15, 2019

Model Reduction and Neural Networks参考文献 13被引用数 42

ひとこと要約

本論文は、小さなニューラルネットワークが Poisson および steady Navier–Stokes PDE の解を近似できることを示し、ランダム初期化がアンサンブル改善を可能にする方法を探り、損失関数、古典的手法との比較、および将来の方向性について論じている。

ABSTRACT

Can neural networks learn to solve partial differential equations (PDEs)? We investigate this question for two (systems of) PDEs, namely, the Poisson equation and the steady Navier--Stokes equations. The contributions of this paper are five-fold. (1) Numerical experiments show that small neural networks (< 500 learnable parameters) are able to accurately learn complex solutions for systems of partial differential equations. (2) It investigates the influence of random weight initialization on the quality of the neural network approximate solution and demonstrates how one can take advantage of this non-determinism using ensemble learning. (3) It investigates the suitability of the loss function used in this work. (4) It studies the benefits and drawbacks of solving (systems of) PDEs with neural networks compared to classical numerical methods. (5) It proposes an exhaustive list of possible directions of future work.

研究の動機と目的

• 工学と科学において PDE を解くためにニューラルネットワークを用いることの動機づけ。
• Poisson および Navier–Stokes 問題に対して、小さなネットワークが PDE 解を高精度に近似できることを示す。
• ランダムな重み初期化が結果に与える影響と、アンサンブル法がこの非決定性を利用できる方法を調査する。
• 提案されたニューラルPDEソルバーを古典的な数値解法と比較評価し、その利点と欠点を論じる。
• ニューラルPDEソルバーの将来の研究方向を提案する。

提案手法

• PDE の解をニューラルネットワーク ŭ(x, θ) で近似し、領域内の PDE 残差と境界条件を境界で課す損失 L_MC(θ) を用いて学習する。
• Ω および ∂Ω からそれぞれ内部点と境界点をサンプリングして、損失のモンテカルロ推定を用いる。
• 制約付き境界条件を L_MC による非制約ペナルティへ変換し、コーナー項正則化を含む変法を検討する。
• BFGS でネットワークを最適化し、Xavier 初期化を用いたシグモイド活性化を使用する。小さなネットワーク（≤ ~500 パラメータ）を採用して Poisson および定常 Navier–Stokes 問題で検証する。
• 複数のネットワークを訓練しアンサンブル平均を適用して精度を向上させることにより、ランダム初期化の影響を調べる。
• 損失指標と真の解誤差との相関を調べ、損失関数の適用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 小さなニューラルネットワークは Poisson および定常 Navier–Stokes PDE の解を正確に学習できるか。
• RQ2 ランダムな重み初期化はニューラルPDE解の質にどのように影響するか、そしてアンサンブル法はこのばらつきを緩和できるか。
• RQ3 提案された損失関数は理論的に正当化され、PDEソルバーの訓練に実践的に有効か。
• RQ4 精度・速度・柔軟性の観点で、ニューラルPDEソルバーと古典的数値法のトレードオフは何か。
• RQ5 ニューラルネットワークベースのPDEソルバーに対して提案される将来の方向性と改善点は何か。

主な発見

• 小さなニューラルネットワーク（パラメータ数 < 500）は Poisson および Navier–Stokes 問題の複雑な PDE 解を学習できる。
• ランダム初期化は結果に無視できない影響を持ち、複数の訓練でのアンサンブル平均が精度を向上させる。
• 提案された MC ベースの損失関数は真の誤差と様々な相関を示し、強い理論的正当化というより経験的指針を示唆する。
• ニューラルネットワークで PDE を解くことは任意の領域の取り扱いやセンサデータの組み込みに柔軟性を提供するが、遅い場合があり、収束保証が示されていない。
• 本研究は損失関数、最適化の課題、およびニューラルPDEソルバーの潜在的な将来方向に関する広範な議論を提供する。