[論文レビュー] Data vs. Physics: The Apparent Pareto Front of Physics-Informed Neural Networks

Franz M. Rohrhofer, Stefan Posch+2 more|arXiv (Cornell University)|May 3, 2021

Model Reduction and Neural Networks参考文献 8被引用数 15

ひとこと要約

この論文は、物理情報付きニューラルネットワーク（PINNs）におけるデータ忠実性と物理的制約の間の多目的最適化のトレードオフを調査し、Paretoフロントの形状—システムパラメーターやスケールに依存する—がトレーニング収束と精度に顕著な影響を及ぼすことを示している。非次元化がトレーニング安定性を向上させることを示し、複雑なParetoフロントを扱う際に、適応的損失重み付けが適応的活性化関数を上回ることを示している。

ABSTRACT

Physics-informed neural networks (PINNs) have emerged as a promising deep learning method, capable of solving forward and inverse problems governed by differential equations. Despite their recent advance, it is widely acknowledged that PINNs are difficult to train and often require a careful tuning of loss weights when data and physics loss functions are combined by scalarization of a multi-objective (MO) problem. In this paper, we aim to understand how parameters of the physical system, such as characteristic length and time scales, the computational domain, and coefficients of differential equations affect MO optimization and the optimal choice of loss weights. Through a theoretical examination of where these system parameters appear in PINN training, we find that they effectively and individually scale the loss residuals, causing imbalances in MO optimization with certain choices of system parameters. The immediate effects of this are reflected in the apparent Pareto front, which we define as the set of loss values achievable with gradient-based training and visualize accordingly. We empirically verify that loss weights can be used successfully to compensate for the scaling of system parameters, and enable the selection of an optimal solution on the apparent Pareto front that aligns well with the physically valid solution. We further demonstrate that by altering the system parameterization, the apparent Pareto front can shift and exhibit locally convex parts, resulting in a wider range of loss weights for which gradient-based training becomes successful. This work explains the effects of system parameters on MO optimization in PINNs, and highlights the utility of proposed loss weighting schemes.

研究の動機と目的

• 物理情報付きニューラルネットワーク（PINNs）における多目的最適化の過程で生じる収束問題の根本的要因を理解すること。
• システムパラメーターやスケールがPINNトレーニングにおけるParetoフロントの形状に与える影響を調査すること。
• 適応的活性化関数と適応的損失重み付けの有効性を評価し、PINNの収束を改善する方法を検証すること。
• 物理的システムの適切な非次元化が、手動のハイパーパrameterチューニングを伴わずにPINNトレーニングを安定化させることを検証すること。
• PINNsの内在的最適化ランドスケープに関する洞察を提供し、今後の設計やハイパーパrameter選定を支援すること。

提案手法

• データベースの損失と物理ベースの損失（PDE残差）のバランスをとる多目的最適化問題としてPINNトレーニングを定式化する。
• 可視化技術を用いて損失ランドスケープを構築し、局所的最小値とPareto最適解を分析する。
• システムパラメータ（例：長さ、時間、材料スケール）を体系的に変化させ、Paretoフロントの形状に与える影響を調査する。
• 最先端の適応的活性化関数と適応的損失重み付け戦略を適用し、最適化軌道に与える影響を評価する。
• 複数のテストケースにおいて拡散方程式とナビエ-ストークス方程式を用い、PDEの種類にわたる一般化能力を評価する。
• 非次元化が異なるシステムスケールにおいてParetoフロントとトレーニング安定性に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 システムパラメーターや絶対的スケールは、PINNトレーニングにおけるParetoフロントの形状にどのように影響するか？
• RQ2 非次元化は、PINNsの収束性と精度をどの程度向上させるか？
• RQ3 適応的活性化関数は、標準PINNsと比較して、複雑なParetoフロントを効果的にナビゲートできるか？
• RQ4 適応的損失重み付け手法は、PINNトレーニングにおける手動のハイパーパrameterチューニングの必要性を低減できるか？
• RQ5 Paretoフロントの内在的幾何構造は、PINNsにおける多目的最適化の成功にどのような役割を果たすか？

主な発見

• PINNトレーニングにおけるParetoフロントの形状は、特に計算ドメインの絶対的スケールに強く依存する。
• 非次元化により、より好都合で、しばしば凸であるParetoフロントが得られ、収束性が向上し、手動による損失重み付けの必要性が低減される。
• 適応的損失重み付け手法は、異なるシステムスケールにおいてデータ損失と物理的損失を効果的にバランスさせ、ベースラインPINNsに比べて一貫した改善を示す。
• 適応的活性化関数はややの改善しかもたらさず、適応的損失重み付けに比べて効果が低い。これは、グローバル最適化ランドスケープに与える影響が限定的であるためと推測される。
• PINNsにおける多目的最適化プロセスは、Paretoフロントの内在的幾何構造によって本質的に制限されており、適切なシステムスケーリングが行われない限り、高い精度を達成するのは困難である。
• 適応的活性化や損失重み付けといった高度な技術でさえも、Paretoフロントの根本的構造に極めて敏感であることが判明し、問題定式化の重要性が浮き彫りになった。