[論文レビュー] Hierarchical Learning to Solve Partial Differential Equations Using Physics-Informed Neural Networks

Jihun Han, Yoonsang Lee|arXiv (Cornell University)|Dec 2, 2021

Model Reduction and Neural Networks参考文献 24被引用数 5

ひとこと要約

本稿では、逐次的に前の段階の残差を補正するニューラルネットワークを訓練することにより、多スケール偏微分方程式（PDE）を解く際の収束性と精度を向上させる階層的物理情報付きニューラルネットワーク（PINN）フレームワークを提案する。ニューラルネットワークが低周波成分を最初に学習する傾向を活用し、各段階が高周波成分に焦点を当てるようにすることで、誤差を著しく低減し、困難な線形および非線形PDEにおいて収束を加速する。

ABSTRACT

The neural network-based approach to solving partial differential equations has attracted considerable attention due to its simplicity and flexibility in representing the solution of the partial differential equation. In training a neural network, the network learns global features corresponding to low-frequency components while high-frequency components are approximated at a much slower rate. For a class of equations in which the solution contains a wide range of scales, the network training process can suffer from slow convergence and low accuracy due to its inability to capture the high-frequency components. In this work, we propose a hierarchical approach to improve the convergence rate and accuracy of the neural network solution to partial differential equations. The proposed method comprises multi-training levels in which a newly introduced neural network is guided to learn the residual of the previous level approximation. By the nature of neural networks' training process, the high-level correction is inclined to capture the high-frequency components. We validate the efficiency and robustness of the proposed hierarchical approach through a suite of linear and nonlinear partial differential equations.

研究の動機と目的

• 複数スケールにわたる解を示すPDEを解く際、標準PINNの収束が遅く、精度が低いという問題に取り組む。
• ニューラルネットワークが最初に低周波成分を学習するという固有のバイアスが、高周波成分の解像度を阻害することを克服する。
• 各段階のネットワーク複雑度を増加させずに、スケーラブルで多段階のトレーニング戦略を開発し、多スケール解の近似を向上させる。
• 広範な線形および非線形PDE、特に複雑な速度場を有する移流拡散方程式を含む、多様なPDEに対して、ロバスト性と効率性を示す。
• モジュール式でスケールに配慮したネットワーク設計により、時間依存および高次元PDEへの階層的学習の拡張の基盤を構築する。

提案手法

• 各段階のニューラルネットワークが、直前の段階の近似の残差を学習する階層的トレーニングパイプラインを導入する。
• 各段階をトレーニングする際に、PDEの残差、境界条件、弱形式に基づく損失関数を用いた物理情報付きニューラルネットワーク（PINN）を用いる。
• 周波数スケールを明示的に制御できるように、フーリエ特徴埋め込みを適用する。
• 最初のネットワークで解の支配的低周波成分を近似し、その後のネットワークで残差誤差を補正するようにトレーニングする。
• 直前の段階のトレーニングを固定回数のイテレーション後に開始することで、高周波成分の特徴を段階的に精錬する。
• 二段階の階層構造を用いる：最初の段階は低周波埋め込み（σ=2）、二番目の段階は高周波（σ=5）を適用し、逐次的に処理する。

実験結果

リサーチクエスチョン

• RQ1 階層的トレーニング戦略は、多スケールPDEに対するPINNの収束速度と精度を向上させることができるか？
• RQ2 複数のネットワーク段階で逐次的残差補正を行う方法は、単一ネットワークPINNトレーニングと比較して、解の高周波成分をどれほど効果的に捉えることができるか？
• RQ3 フーリエ特徴埋め込みの使用は、各ネットワーク段階が解の特定の周波数帯に焦点を当てる能力をどの程度向上させるか？
• RQ4 この階層的アプローチは、線形および非線形PDEの多様なケース、特に複雑な多スケール構造を有するPDEに対してもロバスト性を維持するか？
• RQ5 残差補正メカニズムを適応させることで、時間依存または高次元PDEへの階層的フレームワークの拡張は可能か？

主な発見

• 定常状態の移流拡散方程式（多スケール速度場を有する）において、標準PINNトレーニングと比較して、相対L²誤差を最大70％まで低減した。
• 収束がより速く、内部、ディリクレ境界、ノイマン境界のすべての成分において、単一段階トレーニングよりも損失が著しく速やかに減少した。
• フーリエ特徴埋め込みを用いた階層的トレーニングにより、点ごとの誤差が著しく低く、均一に分布した。これは、標準の単一埋め込みPINNと比較して顕著な改善であった。
• 最初の段階のネットワークは低周波成分を的確に捉えており、残差ターゲット関数の可視化分析により、第二段階のネットワークが高周波成分の補正に集中していることが確認された。
• 標準PINNに複数のフーリエ埋め込み（σ=2,5）を適用した場合と比較して、本手法は精度と収束速度の両面で優れていた。
• 非線形PDEを含む多数のテストケースにおいてもロバスト性を示したため、線形楕円型問題にとどまらず、広範な応用可能性が示唆された。