[論文レビュー] Augmented Physics-Informed Neural Networks (APINNs): A gating network-based soft domain decomposition methodology

Zheyuan Hu, Ameya D. Jagtap+2 more|arXiv (Cornell University)|Nov 16, 2022

Model Reduction and Neural Networks参考文献 38被引用数 11

ひとこと要約

本稿では、可学習なゲートネットワークを用いて複数のサブネットワークの重みを動的に制御するソフトドメイン分割手法である拡張型物理情報ニューラルネットワーク（APINN）を提案する。APINNは界面損失を回避し、サブネットワークで全データを活用可能にするとともに、部分的なパラメータ共有を実現し、PINN や XPINN よりも一般化性能と性能を向上させる。PDEの難易度が高い状況でも顕著な改善が得られ、特に XPINN が PINN よりも性能を発揮しない場合に顕著である。

ABSTRACT

In this paper, we propose the augmented physics-informed neural network (APINN), which adopts soft and trainable domain decomposition and flexible parameter sharing to further improve the extended PINN (XPINN) as well as the vanilla PINN methods. In particular, a trainable gate network is employed to mimic the hard decomposition of XPINN, which can be flexibly fine-tuned for discovering a potentially better partition. It weight-averages several sub-nets as the output of APINN. APINN does not require complex interface conditions, and its sub-nets can take advantage of all training samples rather than just part of the training data in their subdomains. Lastly, each sub-net shares part of the common parameters to capture the similar components in each decomposed function. Furthermore, following the PINN generalization theory in Hu et al. [2021], we show that APINN can improve generalization by proper gate network initialization and general domain & function decomposition. Extensive experiments on different types of PDEs demonstrate how APINN improves the PINN and XPINN methods. Specifically, we present examples where XPINN performs similarly to or worse than PINN, so that APINN can significantly improve both. We also show cases where XPINN is already better than PINN, so APINN can still slightly improve XPINN. Furthermore, we visualize the optimized gating networks and their optimization trajectories, and connect them with their performance, which helps discover the possibly optimal decomposition. Interestingly, if initialized by different decomposition, the performances of corresponding APINNs can differ drastically. This, in turn, shows the potential to design an optimal domain decomposition for the differential equation problem under consideration.

研究の動機と目的

• PDEを解く際のPINNおよびXPINNの一般化性能と界面誤差に関する限界を克服すること。
• サブドメインごとの訓練データが減少するためのXPINNにおける過学習リスクと、界面損失制約の必要性を解消すること。
• 解の精度と一般化性能を向上させる柔軟で可学習なドメイン分割メカニズムを構築すること。
• サブネットワークが全訓練データを活用可能であり、共通のパラメータを共有することで、解関数内の共通する機能的成分を捉えること。
• Huら（2021）のPINN一般化理論およびレーデマッハ複雑度を用いた理論的根拠により、APINNの一般化性能の向上を理論的に裏付けること。

提案手法

• 入力位置に応じて複数のサブネットワークに重みを柔らかく割り当てる可学習なゲートネットワークを導入し、XPINNのハード分割を模倣するが、学習可能で微分可能な分割を実現する。
• ゲートネットワークによる重み付き平均を用いてサブネットワーク出力を統合し、明示的な界面損失項の必要性を排除する。
• 解関数内の共通成分をモデル化するため、サブネットワーク間で部分的なパラメータ共有を実装する。
• APINN出力を重み付き和として定式化する：$ u_{\text{APINN}}(\boldsymbol{x}) = \sum_{j=1}^{m} G(\boldsymbol{x})_j f_j(\boldsymbol{x}) $、ここで$ G $はゲートネットワーク、$ f_j $はサブネットワークである。
• レーデマッハ複雑度およびカバー数解析を用いて一般化境界を導出し、PINN や XPINN と比較して優位性を示す。
• ゲートネットワークの最適化軌跡を可視化し、分割の質を分析するとともに、最適な初期化を同定する。

実験結果

リサーチクエスチョン

• RQ1 可学習でソフトなドメイン分割メカニズムは、PINN や XPINN よりもPDEの解法における一般化性能と性能を向上させ得るか？
• RQ2 APINNアーキテクチャは、XPINNに一般的に見られる過学習と界面誤差をどのように緩和するか？
• RQ3 ゲートネットワークの初期化がAPINN性能に与える影響は何か？また、最適なドメイン分割を導く手がかりとなるか？
• RQ4 サブネットワーク間での部分的パラメータ共有は、解関数内の共通する機能的成分の学習を向上させるか？
• RQ5 APINNに対して理論的一般化境界を導出可能か？また、PINN や XPINN の境界と比較してどうなるか？

主な発見

• XPINNがPINNと同等またはそれ以下に性能を発揮するPDEにおいて、APINNは顕著な性能向上を示し、困難な領域でも頑健性を示す。
• XPINNが既にPINNを上回る性能を発揮するPDEに対しても、APINNはわずかな改善をもたらし、問題タイプにかかわらず一貫した向上を示す。
• ゲートネットワークの最適化軌跡の可視化により、性能と相関する明確なパターンが観察され、ゲートの形状とダイナミクスが最適な分割を指し示す可能性を示唆する。
• 物理的構造や事前知識に基づいた最適な分割で初期化されたAPINNは、優れた性能を達成する。これは、設計に基づくドメイン分割の可能性を示唆する。
• 理論的解析により、APINNのソフトで可学習な分割は、サブドメイン関数が複雑な場合に特に、PINN や XPINN よりも一般化誤差を低減することを確認した。
• ゲートネットワークがサブネットワークを動的に重み付けできることで、各サブネットワークが全データを活用可能となり、XPINNのサブドメイン固有のデータ分割に比べて過学習が低減される。