[論文レビュー] Sobolev Training for Physics Informed Neural Networks

Hwijae Son, Jin Woo Jang+2 more|arXiv (Cornell University)|Jan 22, 2021

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、偏微分方程式（PDE）の解法における収束速度と精度を向上させるために、Sobolevノルムを損失関数に組み込むことで、Physics-Informed Neural Networks（PINNs）を強化する新規な訓練フレームワーク、Sobolev-PINNsを提案する。$H^1$および$H^2$空間における誤差を最小化することで、粘性バーガース方程式やフォッカー・プランク方程式などのPDEに対して、理論的保証と実験的検証を併せ持つ高速収束を達成する。低次元および高次元問題の両方で有効である。

ABSTRACT

Physics Informed Neural Networks (PINNs) is a promising application of deep learning. The smooth architecture of a fully connected neural network is appropriate for finding the solutions of PDEs; the corresponding loss function can also be intuitively designed and guarantees the convergence for various kinds of PDEs. However, the rate of convergence has been considered as a weakness of this approach. This paper proposes Sobolev-PINNs, a novel loss function for the training of PINNs, making the training substantially efficient. Inspired by the recent studies that incorporate derivative information for the training of neural networks, we develop a loss function that guides a neural network to reduce the error in the corresponding Sobolev space. Surprisingly, a simple modification of the loss function can make the training process similar to extit{Sobolev Training} although PINNs is not a fully supervised learning task. We provide several theoretical justifications that the proposed loss functions upper bound the error in the corresponding Sobolev spaces for the viscous Burgers equation and the kinetic Fokker--Planck equation. We also present several simulation results, which show that compared with the traditional $L^2$ loss function, the proposed loss function guides the neural network to a significantly faster convergence. Moreover, we provide the empirical evidence that shows that the proposed loss function, together with the iterative sampling techniques, performs better in solving high dimensional PDEs.

研究の動機と目的

• 従来の$ L^2 $損失関数に依存する伝統的なPhysics-Informed Neural Networks（PINNs）の収束遅さを是正すること。
• Sobolevノルムを用いて微分情報を取り入れた新たな損失関数を構築し、ニューラルネットワークの訓練をより効果的に導くこと。
• 提案されたSobolev損失を最小化することで、主要なPDEにおいて$ H^1 $および$ H^2 $ノルムにおける近似誤差の収束が保証されることを理論的に裏付けること。
• 実験的に、提案手法が目標精度に到達するまでの訓練エポック数を顕著に削減することを示すこと。
• 反復的サンプリングを用いて、高次元PDEに対してもフレームワークを拡張し、標準PINNsより優れた性能を示すこと。

提案手法

• PDEの残差とその微分を、$ H^1 $および$ H^2 $Sobolevノルムでペナルティを与える新たな損失関数を提案する。
• ニューラルネットワークの出力および一次および二次微分の$ L^2 $ノルムの重み付き和として損失を定式化する。
• 標準的な$ L^2 $残差損失を置き換えるか補完する形で、Sobolev損失をPINNの訓練パイプラインに統合する。
• エネルギー推定とGrönwallの不等式に基づく理論的分析を用いて、$ H^1 $および$ H^2 $誤差がゼロに収束することを証明する。
• ディリクレ境界条件を満たす1次元の粘性バーガース方程式、1次元のキネティックフォッカー・プランク方程式、および1次元のポアソン方程式に本手法を適用する。
• Sobolev-PINNフレームワークを反復的サンプリング技術と組み合わせ、高次元PDEにおける性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 SobolevノルムをPINNの損失関数に組み込むことで、PDEの解法における収束が著しく加速されるか？
• RQ2 残差誤差の$ H^1 $および$ H^2 $ノルムを最小化することで、Sobolev空間内でのニューラルネットワーク近似の収束が保証されるか？
• RQ3 Sobolev-PINNフレームワークは、標準的な$ L^2 $ベースのPINNsと比較して、訓練速度および精度において優れているか？
• RQ4 反復的サンプリング戦略を用いて、Sobolev-PINNフレームワークを高次元PDEに効果的に拡張できるか？
• RQ5 Sobolev損失と解空間内での実際の近似誤差との間には、理論的関係があるか？

主な発見

• 提案されたSobolev-PINN損失関数は、標準的な$ L^2 $ベースのPINNsと比較して著しく高速な収束を実現し、所定の精度に到達するための訓練エポック数を削減する。
• 理論的分析により、Sobolev損失がゼロに近づくにつれて、粘性バーガース方程式およびキネティックフォッカー・プランク方程式において、$ H^1 $および$ H^2 $ノルムにおける近似誤差もゼロに収束することが証明された。
• 1次元ポアソン方程式では、誤差の$ H^{m+2} $ノルムが残差の$ H^m $ノルムによって有界であることが保証され、Sobolev空間内での収束が裏付けられた。
• 実験的結果から、解が滑らかである場合には、損失関数に高次微分項（例：$ H^2 $）を組み込むことで収束がさらに速くなることが示された。
• Sobolev-PINNsと反復的サンプリング技術の組み合わせにより、高次元PDEにおいても性能が向上し、頑健性とスケーラビリティが確認された。
• 本フレームワークは、熱方程式、バーガース方程式、フォッカー・プランク方程式、および高次元ポアソン方程式を含む多様なPDEに適用可能であり、ベースラインPINNsと比較して一貫した改善効果を示した。