[論文レビュー] Solving Partial Differential Equations with Point Source Based on Physics-Informed Neural Networks

Xiang Huang, Hongsheng Liu+12 more|arXiv (Cornell University)|Nov 2, 2021

Model Reduction and Neural Networks参考文献 28被引用数 12

ひとこと要約

本論文は、点源をデルタ関数としてモデル化する偏微分方程式（PDE）を解くための物理情報付きニューラルネットワーク（PINN）手法を提案する。伝統的に特異性の問題を引き起こすデルタ関数を、連続的な確率密度関数で近似することで、特異性を回避し、損失関数の安定性を向上させる。さらに、損失のバランスをとるために下限制約付きの不確実性重み付け法を導入し、周期的活性化関数を用いたマルチスケールSIRENネットワークを採用することで、3つのベンチマークPDEにおいて高い精度と収束性を達成。従来の深層学習ベースの手法に比べ、精度、効率性、汎用性の面で優れている。

ABSTRACT

In recent years, deep learning technology has been used to solve partial differential equations (PDEs), among which the physics-informed neural networks (PINNs) emerges to be a promising method for solving both forward and inverse PDE problems. PDEs with a point source that is expressed as a Dirac delta function in the governing equations are mathematical models of many physical processes. However, they cannot be solved directly by conventional PINNs method due to the singularity brought by the Dirac delta function. We propose a universal solution to tackle this problem with three novel techniques. Firstly the Dirac delta function is modeled as a continuous probability density function to eliminate the singularity; secondly a lower bound constrained uncertainty weighting algorithm is proposed to balance the PINNs losses between point source area and other areas; and thirdly a multi-scale deep neural network with periodic activation function is used to improve the accuracy and convergence speed of the PINNs method. We evaluate the proposed method with three representative PDEs, and the experimental results show that our method outperforms existing deep learning-based methods with respect to the accuracy, the efficiency and the versatility.

研究の動機と目的

• 物理情報付きニューラルネットワーク（PINN）がデルタ関数による点源を伴うPDEを解く際に生じる特異性問題に対処すること。
• 変分形式やラベル付きデータを必要としない、汎用的でデータフリーな手法を構築すること。
• 点源領域と領域の他の部分の損失寄与をバランスさせることで、訓練の安定性と収束性を向上させること。
• 周期的活性化関数を用いたマルチスケール深層ニューラルネットワークアーキテクチャを導入することで、解の精度と訓練速度を向上させること。
• さまざまなPDEに対して本手法を検証し、その頑健性と一般化能力を示すこと。

提案手法

• 特異性を回避するために、デルタ関数を対称的かつ単峰性の連続確率密度関数（例：正規分布、コーシー分布、ラプラス分布）で近似する。
• 点源領域とその他の領域の損失項のバランスをとるために、下限制約付きの不確実性重み付けアルゴリズムを導入し、源領域でのアンダーフィッティングを防ぐ。
• 複数のサブネットワークを有するマルチスケールSIREN（サイン活性化ニューラルネットワーク）アーキテクチャを採用し、解の多周波数成分を捉える能力を向上させる。
• 波動方程式や電磁気学的PDEに共通する振動解をよりよくモデル化できるよう、ニューラルネットワークに周期的活性化関数（特にサイン関数）を用いる。
• PDE、境界条件、滑らかにした源項の残差損失を自動微分を用いて勾配計算しながらPINNを訓練する。
• アブレーションスタディを通じて、不確実性重み付けの下限εやネットワークの深さ・アーキテクチャなどのハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 デルタ関数の連続的近似が、点源を伴うPDEにおけるPINNの特異性問題を効果的に解消できるか。
• RQ2 点源領域と領域全体の両方で正確な学習が実現できるように、損失重み付けをどのように改善できるか。
• RQ3 周期的活性化関数を備えたマルチスケール深層ニューラルネットワークアーキテクチャが、点源を伴うPDEの解の精度と収束速度を向上させるか。
• RQ4 本手法が、ポアソン方程式、マクスウェル方程式、バリーとマーシュール問題といった、さまざまな種類の点源付きPDEにどの程度一般化可能か。
• RQ5 各技術的寄与（滑らか化、不確実性重み付け、マルチスケールアーキテクチャ）が全体の性能に果たす相対的寄与度はいかほどか。

主な発見

• マクスウェル方程式の問題において、提案手法は$L_2$誤差0.017を達成し、ベースラインPINN手法を著しく上回った。
• デルタ関数の正規分布近似では$L_2$誤差が0.017、コーシー分布近似では0.051、ラプラス分布近似では0.025を記録し、滑らか化関数の選択に対して頑健であることが確認された。
• 下限制約付き不確実性重み付け法は、$\epsilon = 0.01$で平均$L_2$誤差0.017を達成し、元の不確実性重み付け（$\epsilon = 0$）および等価重み付け戦略を上回った。
• サイン活性化関数は、すべての3つのテスト問題においてReLUやTanhを上回る収束速度と精度を示し、特に波動的解のシナリオで顕著であった。
• マルチスケールSIRENアーキテクチャは、多周波数成分を有する問題（例：マクスウェル方程式、ポアソン方程式）で性能向上をもたらしたが、単一周波数解を有するバリーとマーシュール問題では限定的な利点にとどまった。
• マクスウェル方程式において、滑らか化、不確実性重み付け、マルチスケールアーキテクチャという3つの技術的寄与が最適性能を達成するために不可欠であり、相乗効果があることが示された。