[論文レビュー] Deep neural network for solving differential equations motivated by Legendre-Galerkin approximation

Bryce Chudomelka, Youngjoon Hong+2 more|arXiv (Cornell University)|Oct 24, 2020

Model Reduction and Neural Networks参考文献 35被引用数 5

ひとこと要約

本稿では、線形および非線形PDEを高精度で解くために、ルジャンドル多項式基底関数の係数を予測する新しいDNNアーキテクチャであるLegendre-Galerkin深層ニューラルネットワーク（LGNet）を提案する。高精度なスペクトル有限要素法（SEM）の解を学習データとして用い、弱形式の残差損失関数を適用することで、対流拡散方程式、ヘルムホルツ方程式、バーガース方程式において平均相対ℓ²ノルム誤差が𝒪(10⁻⁵)に達する。非線形ケースにおいてもデータ拡張を適用することで、安定した性能を示す。

ABSTRACT

Nonlinear differential equations are challenging to solve numerically and are important to understanding the dynamics of many physical systems. Deep neural networks have been applied to help alleviate the computational cost that is associated with solving these systems. We explore the performance and accuracy of various neural architectures on both linear and nonlinear differential equations by creating accurate training sets with the spectral element method. Next, we implement a novel Legendre-Galerkin Deep Neural Network (LGNet) algorithm to predict solutions to differential equations. By constructing a set of a linear combination of the Legendre basis, we predict the corresponding coefficients, $α_i$ which successfully approximate the solution as a sum of smooth basis functions $u \simeq \sum_{i=0}^{N} α_i φ_i$. As a computational example, linear and nonlinear models with Dirichlet or Neumann boundary conditions are considered.

研究の動機と目的

• スペクトル近似としてルジャンドル多項式を用いることで、微分方程式を高精度に解く深層ニューラルネットワークの開発。
• スペクトル有限要素法（SEM）によって生成された高精度な訓練データを活用し、一般化性能の向上と数値誤差の低減を図ること。
• PDEの弱形式に基づく損失関数を設計し、解の精度と安定性を向上させること。
• 基底関数の拡張と時間離散化を用いて、時間に依存するPDEおよび特異摂動PDEへと手法を拡張すること。
• データ拡張により、非線形方程式においても線形方程式と同等の性能を達成できることを示すこと。

提案手法

• LGNetアーキテクチャは、解をu ≈ Σαᵢφᵢというルジャンドル多項式展開の係数αᵢの予測によって再構築し、滑らかなスペクトル近似を得る。
• 高精度な訓練データは、ルジャンドル・ガレルキンスペクトル有限要素法（LGSEM）を用いて生成され、解の忠実性が保証される。
• PDEの弱形式から導出された残差損失関数を用い、学習中に物理的整合性を強制する。
• ネットワークは、強制項fと境界条件を、スペクトル係数αᵢへマッピングするための深層畳み込みニューラルネットワーク（CNN）を採用する。
• 非線形強制項に対してデータ拡張を適用し、一般化性能を向上させ、線形ケースと同等の性能を達成する。
• 時間離散化された系を静的問題に再定式化することで、時間に依存するPDEへも応用可能となる。

実験結果

リサーチクエスチョン

• RQ1 高精度なスペクトル有限要素法の解を学習データとして用いることで、深層ニューラルネットワークは線形および非線形PDEの解を正確に予測できるか？
• RQ2 弱形式の残差損失関数を用いることで、標準的な損失関数と比較して解の精度がどのように向上するか？
• RQ3 データ拡張により、深層ニューラルネットワークが非線形PDEにおいても線形PDEと同等の精度を達成できるか？
• RQ4 LGNetアーキテクチャは、時間に依存するPDEおよび特異摂動PDEへどの程度一般化可能か？
• RQ5 剛性または境界層支配の問題に対して、拡張された基底関数を含めるためにネットワークアーキテクチャを拡張可能か？

主な発見

• L-BFGS最適化法を用いて、対流拡散方程式、ヘルムホルツ方程式、バーガース方程式において、LGNetは平均相対ℓ²ノルム誤差𝒪(10⁻⁵)を達成した。
• データ拡張により、非線形方程式においても線形方程式と同等の性能が達成され、別個のアーキテクチャの必要がなくなる。
• 弱形式の残差損失関数の使用により、PDEを変分的意味で強制することで、解の精度が著しく向上した。
• ルジャンドル基底のグローバル性のおかげで、境界条件や強制項の異なるケースに対しても良好な一般化性能を示した。
• 各時間ステップを静的問題に再定式化することで、時間に依存するPDEへもアーキテクチャを拡張可能である。
• 特異摂動問題のための補正関数の追加など、基底関数の拡張が可能であり、柔軟性とスケーラビリティを示した。