[論文レビュー] Enforcing exact boundary and initial conditions in the deep mixed residual method

Liyao Lyu, Keke Wu+2 more|arXiv (Cornell University)|Aug 4, 2020

Model Reduction and Neural Networks参考文献 12被引用数 10

ひとこと要約

本稿では、偏微分方程式（PDE）を解くための深層ニューラルネットワーク（DNN）において、境界条件および初期条件を正確に満たすための体系的で包括的な手法を提案する。この手法は、深層混合残差法（MIM）を用い、解とその微分を独立変数として扱うことで、罰則項を用いずにディリクレ、ノイマン、ロビン、周期的、初期条件を正確に満たす。このアプローチにより、楕円型、放物型、放物型PDEのあらゆる場面で、より高い精度と改善された学習安定性が達成される。

ABSTRACT

In theory, boundary and initial conditions are important for the wellposedness of partial differential equations (PDEs). Numerically, these conditions can be enforced exactly in classical numerical methods, such as finite difference method and finite element method. Recent years have witnessed growing interests in solving PDEs by deep neural networks (DNNs), especially in the high-dimensional case. However, in the generic situation, a careful literature review shows that boundary conditions cannot be enforced exactly for DNNs, which inevitably leads to a modeling error. In this work, based on the recently developed deep mixed residual method (MIM), we demonstrate how to make DNNs satisfy boundary and initial conditions automatically in a systematic manner. As a consequence, the loss function in MIM is free of the penalty term and does not have any modeling error. Using numerous examples, including Dirichlet, Neumann, mixed, Robin, and periodic boundary conditions for elliptic equations, and initial conditions for parabolic and hyperbolic equations, we show that enforcing exact boundary and initial conditions not only provides a better approximate solution but also facilitates the training process.

研究の動機と目的

• 深層学習ベースのPDEソルバーにおいて、境界および初期条件が正確に満たされないことがモデル化誤差を引き起こし、学習を阻害するという問題に対処すること。
• 高次元PDEにおける多様な境界および初期条件を正確に満たすための体系的で汎用的なフレームワークの開発。
• 損失関数における罰則項を排除するため、DNNを境界条件を内蔵的に満たすように構築することで、チューニング依存性を解消し、解の精度を向上させること。
• 楕円型、放物型、放物型PDEにわたり、複雑な境界条件を有する多様なPDEタイプにおいて、提案手法の優位性を実証すること。
• 正確な境界条件の満たしが、深層学習ベースのPDEソルバーにおける近似精度および学習収束性を向上させることを示すこと。

提案手法

• 深層混合残差法（MIM）は、PDEを1階系に再定式化し、解とその微分を独立変数として扱う。
• 境界および初期条件は、DNNの出力およびその微分が領域の境界および初期時刻で必要な条件を直接満たすように構築することにより、正確に満たされる。
• 放物型および放物型方程式における初期条件に対しては、ネットワークアーキテクチャに明示的な成分として解およびその時間微分を含めることで、両者の正確な満たしを保証する。
• MIMの損失関数は、PDEおよびその1階系の残差最小化に基づくのみであり、境界または初期条件に対する罰則項を含まない。
• MIMが解およびその微分への直接的なアクセスを提供するという事実を活用し、他の手法が失敗する混合境界条件、ロビン境界条件、周期的境界条件に対しても正確な満たしが可能になる。
• ネットワークアーキテクチャは積形式を用いて設計され、$ \hat{u}_{\theta} = t \prod_{i=1}^{d}(x_i - x_i^2) N_\theta(x) $ と表され、境界および初期値がゼロになるように保証される。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを、広範なPDEクラスに対して体系的に構築し、境界および初期条件を正確に満たすことは可能か？
• RQ2 損失関数における罰則項を排除することで、深層学習ベースのPDEソルバーにおける解の精度および学習安定性が向上するか？
• RQ3 混合境界条件（ディリクレおよびノイマン）をDNNで正確に満たすことは可能か？その場合、どのようなアーキテクチャ的条件が必要か？
• RQ4 時間に依存するPDE（例えば波動方程式）において、初期条件の正確な満たしが解の品質および学習ダイナミクスに与える影響は何か？
• RQ5 提案手法は、さまざまなPDEタイプおよび次元において、罰則ベースの手法よりも優れた性能を達成できるか？

主な発見

• MIM2は、解とその時間微分を両方とも正確に満たすため、$ n=40 $ の3次元波動方程式で相対 $ L^2 $ 誤差が 2.23e-03 にまで低下し、DGMおよびMIM1を上回る性能を示した。
• ReLU活性化関数を用いた2次元波動方程式において、MIM2は $ n=3 $ 時に相対 $ L^2 $ 誤差を 2.90e-03 にまで低下させたのに対し、DGMは 7.28e-02 にとどまり、顕著な改善が得られた。
• 3次元で $ n=40 $ の場合、MIM2はReLUを用いて相対 $ L^2 $ 誤差を 4.41e-03 にまで低下させたのに対し、DGMは 7.34e-02 にとどまり、16倍の改善が確認された。
• 図11および図12の訓練プロセスから、MIM2はDGMおよびMIM1と比較して、特に高次元および高複雑度の設定において、より速く安定した収束を示した。
• MIMには罰則項が存在しないため、一般化性能が向上し、標準的な物理情報付きニューラルネットワークにおける罰則パラメータのチューニングの必要性が回避された。これは大きな欠点であった。
• 本手法は、混合境界条件、ロビン境界条件、周期的境界条件を正確に満たすことに成功した。これは、従来のDNNベースの手法が微分へのアクセスが不足していたため、達成できなかった。