[論文レビュー] Finite element interpolated neural networks for solving forward and inverse problems

Santiago Badia, Wei Li+1 more|arXiv (Cornell University)|Jun 9, 2023

Model Reduction and Neural Networks参考文献 50被引用数 4

ひとこと要約

本稿では、前向きおよび逆問題のPDEを解くために、有限要素空間にニューラルネットワークを埋め込むことで、FEMとPINNの両方の手法を凌駕する性能を達成する、新しいフレームワークである有限要素補間ニューラルネットワーク（FEINNs）を提案する。境界条件は有限要素補間によって強制され、重み付きノルムを用いた変分残差最小化が行われる。これにより、収束性と一般化性能が著しく向上し、滑らかな問題や複雑な幾何形状において特に優れた性能を示す。

ABSTRACT

We propose a general framework for solving forward and inverse problems constrained by partial differential equations, where we interpolate neural networks onto finite element spaces to represent the (partial) unknowns. The framework overcomes the challenges related to the imposition of boundary conditions, the choice of collocation points in physics-informed neural networks, and the integration of variational physics-informed neural networks. A numerical experiment set confirms the framework's capability of handling various forward and inverse problems. In particular, the trained neural network generalises well for smooth problems, beating finite element solutions by some orders of magnitude. We finally propose an effective one-loop solver with an initial data fitting step (to obtain a cheap initialisation) to solve inverse problems.

研究の動機と目的

• 収束性の悪さ、境界条件の強制の難しさ、数値積分誤差といった、物理に基づくニューラルネットワーク（PINNs）の限界を解消すること。
• 非凸的かつ非線形なニューラルネットワークのPDEに対する学習の課題を、適合する有限要素空間に埋め込むことで克服すること。
• アドジョイントソルブを繰り返し行わずに、状態とパラメータを同時に学習する1ループのロバストな逆問題ソルバーを開発すること。
• 正則化のチューニングを必要とせず、ノイズや部分的な観測がある状況でも、PDE制約付きの逆問題を正確かつ安定して解けるようにすること。
• 従来のFEMおよび既存のPINNバリアントと比較して、特に滑らかな領域において、一般化性能と収束速度に優れた性能を示すことを実証すること。

提案手法

• ノード補間を用いて、訓練済みのニューラルネットワークを適合する有限要素空間に補間し、標準的なFEオフセット関数を用いてディリクレ境界条件を強制的に満たす。
• 損失関数を、メッシュ上で正確に積分された有限要素残差のL2ノルム（または他のノルム）として定式化する。
• 標準的な有限要素プリコンディショナ（例：幾何的多重グリッドサイクル）を適用し、h→0の極限における損失関数の安定性を高め、収束を加速する。
• 3段階の訓練戦略を用いる：(1) 微分作用素を含まないデータフィッティング、(2) 残差項を含むデータフィッティング、(3) 全結合最小化により、高品質な初期化を提供する。
• 未知のモデルパラメータ（例：拡散係数）をニューラルネットワークでパrameter化し、それらも有限要素空間に補間して、一貫した変分定式化を実現する。
• データ不一致項とPDE残差ペナルティ項を損失関数に組み込み、1つの訓練ループ内で状態とパラメータを同時に最適化可能にする。

((a))

実験結果

リサーチクエスチョン

• RQ1 滑らかなPDE解において、有限要素空間に埋め込まれたニューラルネットワークは、標準FEMおよび非補間PINN手法に比べ、収束性と一般化性能で優れているか？
• RQ2 補間に基づくFE法による境界条件の強制は、コロケーションに基づくPINN手法と比較して、精度と安定性に優れているか？
• RQ3 初期データフィッティングを含む1ループ訓練戦略は、アドジョイントソルブを必要とせず、逆問題における収束性とロバスト性を向上させられるか？
• RQ4 残差ノルムの選択とプリコンディショニングの影響は、FEINNsにおける訓練収束性と解の精度にどのように現れるか？
• RQ5 複雑な幾何形状および非一様ディリクレ境界条件において、FEINNsは標準PINNやIVPINNsよりも効果的に処理できるか？

主な発見

• 滑らかな問題において、FEINNsは標準FEMおよび非補間PINN解に比べ、一般化性能が著しく優れており、数個のオーダーも上回る。
• 対流拡散反応問題において、FEINNsは、IVPINNsが収束不能となる高解像度のメッシュ解像度および高次多項式次数においても、FEM誤差レベルに収束する。
• 初期データフィッティングを含む3段階の訓練戦略は、部分的またはノイズのある観測が存在する逆問題において、収束速度の向上とロバスト性の向上をもたらす。
• FEINNsは正則化のチューニングを必要とせず、性能に大きく依存するアドジョイントベースのNN手法とは異なり、ロバストである。
• 非自明な幾何形状において、FEINNsは、境界条件の強制が困難であるPINNsやIVPINNsと比較して、ディリクレ境界条件および複雑な領域をより効果的に処理できる。
• プリコンディショニングされた残差ノルム（例：GMGサイクルを用いる）は、訓練を加速させ、h→0の極限において損失関数を適切に定義可能にする。

((b))