[論文レビュー] When Do Extended Physics-Informed Neural Networks (XPINNs) Improve Generalization?

Zheyuan Hu, Ameya D. Jagtap+2 more|arXiv (Cornell University)|Sep 20, 2021

Model Reduction and Neural Networks被引用数 12

ひとこと要約

本稿は、拡張型物理学に基づくニューラルネットワーク（XPINNs）が標準PINNsより一般化性能を向上させる条件を理論的に初めて分析している。バロン空間とスペクトルノルムを用いて事前および事後的一般化境界を導出し、ドメイン分割による複雑さの低減（一般化を向上）と各サブネットワークのトレーニングデータの制限（過学習リスクの上昇）のトレードオフを特定した。XPINNsがPINNsを上回る性能を発揮するのは、複雑さの低減効果がデータ不足の悪影響を上回る場合に限る。

ABSTRACT

Physics-informed neural networks (PINNs) have become a popular choice for solving high-dimensional partial differential equations (PDEs) due to their excellent approximation power and generalization ability. Recently, Extended PINNs (XPINNs) based on domain decomposition methods have attracted considerable attention due to their effectiveness in modeling multiscale and multiphysics problems and their parallelization. However, theoretical understanding on their convergence and generalization properties remains unexplored. In this study, we take an initial step towards understanding how and when XPINNs outperform PINNs. Specifically, for general multi-layer PINNs and XPINNs, we first provide a prior generalization bound via the complexity of the target functions in the PDE problem, and a posterior generalization bound via the posterior matrix norms of the networks after optimization. Moreover, based on our bounds, we analyze the conditions under which XPINNs improve generalization. Concretely, our theory shows that the key building block of XPINN, namely the domain decomposition, introduces a tradeoff for generalization. On the one hand, XPINNs decompose the complex PDE solution into several simple parts, which decreases the complexity needed to learn each part and boosts generalization. On the other hand, decomposition leads to less training data being available in each subdomain, and hence such model is typically prone to overfitting and may become less generalizable. Empirically, we choose five PDEs to show when XPINNs perform better than, similar to, or worse than PINNs, hence demonstrating and justifying our new theory.

研究の動機と目的

• XPINNsが偏微分方程式（PDE）を解く際、標準PINNsより一般化性能を向上させる条件を理論的に理解すること。
• 関数の複雑さとネットワーク容量の指標を用いて、多層PINNsおよびXPINNsの一般化境界を導出すること。
• XPINNsにおけるサブドメインごとの解の複雑さの低減と、各サブネットワークのトレーニングデータの制限との間のトレードオフを特定すること。
• 5つのPDEにおける解析的例と数値実験を通じて理論的予測を検証すること。

提案手法

• 目的関数のバロンノルムを用いて、追加の仮定なしに、PINNsの事前的一般化境界を導出する。これは、関数の複雑さを測定する。
• ネットワーク重み行列のスペクトルノルムおよび(2,1)-ノルムを用いて、学習済みネットワーク容量を反映する事後的一般化境界を確立する。
• 各サブドメインに適用し、境界点の分布に基づく重み付き平均を用いて、PINNの境界をXPINNsに拡張する。
• 定理3.1および定理3.2を用いて、PINNとXPINNの一般化境界を比較し、境界損失とデータ不足の影響に注目する。
• 5つのベンチマークPDEにおける解析的PDE例と数値実験を用いて、理論的予測の妥当性を検証する。
• サブドメインの複雑さの低減とサブネットワークあたりのトレーニングデータの減少のトレードオフを評価することで、一般化性能を比較する。

Figure 2: Data visualization for the KdV experiment. Left: exact solution of the KdV equation. Right: Training points.

実験結果

リサーチクエスチョン

• RQ1 XPINNsにおけるドメイン分割が、標準PINNsより一般化性能を向上させる条件は何か？
• RQ2 サブドメインごとの解の複雑さの低減が、XPINNsの一般化性能に与える影響は何か？
• RQ3 XPINNsにおけるサブネットワークあたりの利用可能なトレーニングデータの減少が、一般化に与える影響はどの程度か？
• RQ4 理論的一般化境界は、XPINNsがPINNsを上回る、同等である、または下回る状況を予測できるか？
• RQ5 スペクトルノルムとバロン空間の複雑さは、PINNsおよびXPINNsの一般化行動とどのように関係するか？

主な発見

• XPINNsは、サブドメインごとの解の複雑さの低減が、各サブネットワークのデータ不足の悪影響を上回る場合に一般化性能が向上する。
• XPINNsの理論的一般化境界は、サブドメインのバロンノルムの重み付き和と、サブドメインの境界点数の逆平方根の間のトレードオフによって決定される。
• 5つのPDEにおける実験的結果から、マルチスケールまたはマルチフィジックス特徴が顕著な問題では、ドメイン分割により局所的な複雑さが低減されるため、XPINNsがPINNsを上回ることが確認された。
• 滑らかで低複雑度の解を示す問題では、ネットワークあたりの有効なトレーニングデータが多いため、PINNsが一般化性能をより良く発揮することが多い。
• スペクトルノルムおよび(2,1)-ノルムに基づく事後的一般化境界は、PINNsおよびXPINNsの実際の一般化行動を効果的に捉えている。
• 定理3.1および定理3.2を用いて導出された理論的一般化境界は、異なるPDEタイプおよびドメイン分割戦略において、PINNsとXPINNsの相対的性能を的確に予測できた。

Figure 3: Error visualization for the KdV experiment.