[論文レビュー] Operator Learning Enhanced Physics-informed Neural Networks for Solving Partial Differential Equations Characterized by Sharp Solutions

Bin Lin, Zhiping Mao+2 more|arXiv (Cornell University)|Oct 30, 2023

Model Reduction and Neural Networks被引用数 6

ひとこと要約

本稿では、滑らかな解を扱うために事前学習されたDeepONetとPINNを組み合わせることで、急峻な解を有する偏微分方程式（PDE）を解くための、演算子学習強化型物理学情報ニューラルネットワーク（OL-PINN）を提案する。演算子学習を用いてPINNを支援することで、OL-PINNは最小限の残差点で高い精度と安定性を達成し、高レイノルズ数のナビエ＝ストークス方程式やバーガー方程式といった困難な問題において、通常のPINNを著しく上回る性能を発揮する。

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown as a promising approach for solving both forward and inverse problems of partial differential equations (PDEs). Meanwhile, the neural operator approach, including methods such as Deep Operator Network (DeepONet) and Fourier neural operator (FNO), has been introduced and extensively employed in approximating solution of PDEs. Nevertheless, to solve problems consisting of sharp solutions poses a significant challenge when employing these two approaches. To address this issue, we propose in this work a novel framework termed Operator Learning Enhanced Physics-informed Neural Networks (OL-PINN). Initially, we utilize DeepONet to learn the solution operator for a set of smooth problems relevant to the PDEs characterized by sharp solutions. Subsequently, we integrate the pre-trained DeepONet with PINN to resolve the target sharp solution problem. We showcase the efficacy of OL-PINN by successfully addressing various problems, such as the nonlinear diffusion-reaction equation, the Burgers equation and the incompressible Navier-Stokes equation at high Reynolds number. Compared with the vanilla PINN, the proposed method requires only a small number of residual points to achieve a strong generalization capability. Moreover, it substantially enhances accuracy, while also ensuring a robust training process. Furthermore, OL-PINN inherits the advantage of PINN for solving inverse problems. To this end, we apply the OL-PINN approach for solving problems with only partial boundary conditions, which usually cannot be solved by the classical numerical methods, showing its capacity in solving ill-posed problems and consequently more complex inverse problems.

研究の動機と目的

• 急峻な解や不連続性を有するPDEを解く際の通常のPINNの一般化性能の低さと不安定性を解消すること。
• PINNにおける適応的サンプリングや活性化関数の限界を克服すること。これらは計算コストが高く、不安定である。
• 境界条件が不完全な場合の不適切な逆問題を、古典的数値法が困難とする状況でも堅牢に解けるようにすること。
• 滑らかな粘性解と急峻な非粘性解の漸近的関係を活用し、特異な特徴の学習を向上させること。
• DeepONet（演算子学習）の強みとPINN（物理学情報学習）の強みを融合したハイブリッドフレームワークを構築し、高精度なPDE解法を実現すること。

提案手法

• 目標となる急峻解を有する問題と関連する滑らかで粘性のあるPDEの族に対して、初期条件から解への写像を学習するためのDeepONetを事前学習する。
• 事前学習済みのDeepONetをPINNの損失関数にインダクティブバイアスとして組み込み、急峻な遷移を捉える能力を向上させる。
• DeepONetの出力をPINNアーキテクチャに事前分布または補助ヘッドとして統合し、ネットワーク全体の再学習を伴わずに一般化性能を向上させる。
• 部分的または不十分な境界条件を有する状況を含め、前向き問題および逆問題の両方に対して、ハイブリッドOL-PINNフレームワークを適用する。
• 発散なしパrameterizationを用いて、直接的にニューラルネットワークアーキテクチャに物理的制約（例：非圧縮性条件 $\nabla \cdot \mathbf{u} = 0$）を組み込む。
• 効率的な学習のため、適応的空間時間残差点サンプリング（例：$22 \times 22 \times 20$）と50,000エポックのAdam最適化手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 DeepONetによる演算子学習は、急峻な解を有するPDEを解く際のPINNの一般化性能と安定性を向上させ得るか？
• RQ2 高レイノルズ数のナビエ＝ストークス方程式およびバーガー方程式において、OL-PINNは通常のPINNと比較して、精度および学習安定性の面で優れているか？
• RQ3 境界条件が不完全な不適切な逆問題において、OL-PINNは古典的手法が失敗する状況でも効果的に解けるか？
• RQ4 双曲型PDEの滑らかな粘性類似物に事前学習したDeepONetは、非粘性でショックを捉える解の学習を向上させるか？
• RQ5 急峻な勾配を有する問題において、OL-PINNが高精度を達成するために必要な最小限の残差点数はどれくらいか？

主な発見

• OL-PINNは、ケースIでは相対的 $L^2$ テスト誤差を $2.21 \pm 0.73\%$、ケースIIでは $2.93 \pm 1.29\%$ にまで低減したのに対し、通常のPINNは $30.16 \pm 71.60\%$ であった。
• 最小限の監視（$22 \times 22 \times 20$ 個の残差点）で高い精度を達成しており、一般化性能に優れていることが示された。
• OL-PINNは安定した学習を維持し、適応的PINNの変種や高密度の残差点を必要とする手法でよく見られる数値的不安定性を回避した。
• 渦度に周期的境界条件しか与えられていない不適切な問題において、OL-PINNは $3.36 \pm 1.05\%$ の誤差を達成した。これは通常のPINNの $43.28 \pm 16.52\%$ より著しく優れている。
• フレームワークは高レイノルズ数の非圧縮性ナビエ＝ストークス方程式およびリードドライブキャビティ流れを正しく捉え、複雑な渦構造を正確に再現できた。
• 事前学習済みのDeepONetは強力なインダクティブバイアスを提供し、急峻な特徴が明示的にサンプリングされていなくても、PINNが効果的に一般化できるようにした。