[論文レビュー] How to Avoid Trivial Solutions in Physics-Informed Neural Networks

Raphael Leiteritz, Dirk Pflüger|arXiv (Cornell University)|Dec 10, 2021

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本論文は、少ないコロケーション点で学習する際、物理情報付きニューラルネットワーク（PINNs）が自明な解（例えばゼロ定数解）に収束するのを防ぐために、新しいペナルティ項と規則的なグリッドサンプリング戦略を提案する。物理損失における急激な勾配をペナルティ化し、構造的なサンプリングを採用することで、ハーモニックオシレーター やバーガース方程式といったベンチマークPDEで高い精度を維持しながら、必要なコロケーション点を最大80%まで削減できる。

ABSTRACT

The advent of scientific machine learning (SciML) has opened up a new field with many promises and challenges in the field of simulation science by developing approaches at the interface of physics- and data-based modelling. To this end, physics-informed neural networks (PINNs) have been introduced in recent years, which cope for the scarcity in training data by incorporating physics knowledge of the problem at so-called collocation points. In this work, we investigate the prediction performance of PINNs with respect to the number of collocation points used to enforce the physics-based penalty terms. We show that PINNs can fail, learning a trivial solution that fulfills the physics-derived penalty term by definition. We have developed an alternative sampling approach and a new penalty term enabling us to remedy this core problem of PINNs in data-scarce settings with competitive results while reducing the amount of collocation points needed by up to 80 \% for benchmark problems.

研究の動機と目的

• データが限られた状況下でPINNsが一般化に失敗する原因となる、自明な解（ゼロ定数解など）への収束を是正すること。
• 予測精度を損なわずにPINNsの学習に必要なコロケーション点の数を削減すること。
• コロケーション点選択において、規則的なグリッド（regular grid）が、ランダムサンプリング（例：ラテンハイパーボリューム）を上回る性能を示すかどうかを調査すること。
• 物理損失勾配の急激な変化をペナルティ化することで、学習を安定化させる新しい正則化項を開発すること。
• ハーモニックオシレーター やバーガース方程式を含む標準的なPDEベンチマーク上で、提案手法の有効性を検証すること。

提案手法

• ニューラルネットワークのパラメータに関する物理損失の勾配のL2ノルムをペナルティ化する新しいペナルティ項を導入し、不安定性を示す急激なスパイクを防ぐ。
• 標準的なランダムコロケーション点サンプリング（例：ラテンハイパーボリューム）に代えて、等間隔の規則的グリッドによるサンプリングを採用し、空間的カバレッジと学習安定性を向上させる。
• 勾配ペナルティと規則的グリッドサンプリングの併用を、1次元ハーモニックオシレーター やバーガース方程式を含む時間依存PDEに適用したPINNsの学習に適用する。
• PDE制約の強制に、PyTorchの自動微分を用いてニューラルネットワーク出力の高階微分を計算する。
• 1000個の等間隔のテスト点における予測値と解析解との間の平均二乗誤差（MSE）を用いて性能を評価する。
• 各設定について30回の独立した学習ランを実施し、耐性と妥当性（MSE < 0.01）を評価する。

実験結果

リサーチクエスチョン

• RQ1 物理損失に対する勾配ペナルティは、PINNsが学習中に自明な解に収束するのを防げるか？
• RQ2 コロケーション点の規則的グリッドサンプリングは、ランダムサンプリングに比べて学習安定性を向上させ、必要な点数を削減できるか？
• RQ3 どれほどコロケーション点の数を削減できるか、同時に正確なPINN予測を維持できるか？
• RQ4 勾配ペナルティと規則的サンプリングの組み合わせは、単独で用いる場合よりも優れた一般化性能を示すか？
• RQ5 提案手法は、1次元ハーモニックオシレーターを越えて、より複雑なPDEに対しても一般化可能か？

主な発見

• 提案された勾配ペナルティにより、標準PINN学習に比べて必要なコロケーション点数が約50%削減され、予測精度は維持された。
• 規則的グリッドサンプリングと勾配ペナルティを併用した場合、わずか12個のコロケーション点で十分な性能が達成された—これはベースライン手法に比べて最大80%の削減である。
• 20個のコロケーション点において、規則的グリッドサンプリングでは30回のランで100%の成功率（MSE < 0.01）を達成したが、ランダムサンプリングでは大多数のケースで失敗した。
• 勾配ペナルティと規則的グリッドサンプリングの組み合わせにより、極めて少ないコロケーション点でもPINNが自明なゼロ定数解に「スナップする」のを防げた。
• ハーモニックオシレーターとバーガース方程式の両方で、学習が安定化し、より複雑なPDEへの適用可能性が示された。
• 規則的グリッドサンプリングの成功率（ρ）は、約20個のコロケーション点で1.0に達したが、ランダムサンプリングでは同程度の点数でも著しく低い成功率を示した。