[論文レビュー] Physics-informed Neural Networks for Solving Inverse Problems of Nonlinear Biot's Equations: Batch Training

Teeratorn Kadeethum, Thomas Martini Jørgensen+1 more|arXiv (Cornell University)|May 18, 2020

Model Reduction and Neural Networks参考文献 40被引用数 10

ひとこと要約

本稿では、多孔質媒体における非線形ビオの法則の逆問題を解くために、ミニバッチ学習を組み込んだ物理に基づくニューラルネットワーク（PINNs）を提案する。物理的パラメータ推定の精度が向上し、特に小さなバッチサイズ（8または32）が、完全バッチや大規模バッチよりも顕著に低いパcent誤差（例：θ₁ に対して 0.13–0.56%）を達成する。ただし、訓練時間の延長を伴う。10%のノイズに耐性があり、学習率に敏感であることが確認された。

ABSTRACT

In biomedical engineering, earthquake prediction, and underground energy harvesting, it is crucial to indirectly estimate the physical properties of porous media since the direct measurement of those are usually impractical/prohibitive. Here we apply the physics-informed neural networks to solve the inverse problem with regard to the nonlinear Biot's equations. Specifically, we consider batch training and explore the effect of different batch sizes. The results show that training with small batch sizes, i.e., a few examples per batch, provides better approximations (lower percentage error) of the physical parameters than using large batches or the full batch. The increased accuracy of the physical parameters, comes at the cost of longer training time. Specifically, we find the size should not be too small since a very small batch size requires a very long training time without a corresponding improvement in estimation accuracy. We find that a batch size of 8 or 32 is a good compromise, which is also robust to additive noise in the data. The learning rate also plays an important role and should be used as a hyperparameter.

研究の動機と目的

• 非線形ビオの法則の逆問題に、PINNsを完全バッチからバッチ学習へ拡張すること。
• バッチサイズがPINNベースのパラメータ推定における推定精度と訓練効率に与える影響を調査すること。
• 多孔質媒体の応用において、観測データにノイズが含まれる状況下でのバッチ学習PINNsの耐性を評価すること。
• 特にバッチサイズと学習率を含む最適なハイパーパrameterを特定し、正確で効率的な逆モデリングを実現すること。

提案手法

• 研究では、非線形ビオの法則の強形式を損失関数に組み込み、物理的整合性を保証する物理に基づくニューラルネットワーク（PINNs）を採用する。
• 深層ニューラルネットワークは、ミニバッチ確率的勾配降下法を用いて訓練され、損失関数は観測誤差とPDEの残差の両方を含む。
• 収束性とパラメータ推定精度への影響を評価するために、異なるバッチサイズ（8, 32, 128, 完全バッチ）を用いた訓練プロセスを実施する。
• 耐性をテストするために、観測された圧力および変位データに平均がゼロのガウス分布を用いてノイズを導入する。
• 学習率はハイパーパrameterとして扱われ、収束性と精度を最適化するために調整される。
• モデルの安定性と一般化能力を評価するために、6回の異なる重み初期化を繰り返し実験する。

実験結果

リサーチクエスチョン

• RQ1 バッチ学習は、完全バッチ学習と比較して、非線形ビオの法則のPINNsにおける物理的パラメータ推定精度にどのように影響するか？
• RQ2 PINNベースの逆問題において、推定精度と訓練時間の両立を図る最適なバッチサイズは何か？
• RQ3 ノイズが含まれるデータ（最大10%）が、バッチ学習PINNsによる物理的パラメータ推定性能に与える影響は何か？
• RQ4 学習率は、この逆問題におけるバッチ学習PINNsの収束性と精度にどのような役割を果たすか？
• RQ5 異なるランダム重み初期化において、バッチ学習PINNsの性能は一貫性を示すか？

主な発見

• バッチサイズ8または32が、物理的パラメータ推定において最小のパーセント誤差を達成し、0%ノイズ下ではθ₁が0.13%の誤差で推定され、完全バッチ学習（64.10%誤差）を著しく上回る。
• 非常に小さなバッチ（例：1）を用いた訓練は、精度を向上させないまま訓練時間を延長するため、ある点を過ぎると収益が減少する。
• 大きなバッチサイズ（例：128）および完全バッチ学習は、より高い推定誤差（0%ノイズ下でθ₁が12.43%）をもたらし、一般化性能の低下と局所最適解への陥落リスクが高まることを示唆している。
• ノイズが含まれる状況下でもモデルは耐性を示し、10%ノイズ下でもすべてのパラメータが25%誤差以内に推定され、特にバッチサイズ8または32を用いた場合に顕著である。
• 学習率は重要なハイパーパラメータであり、最適でない値はモデル性能を著しく低下させるため、慎重な調整が不可欠である。
• モデルの性能は、異なるランダム初期化においても安定しており、6回の実行で一貫した傾向が観察された。これは、信頼できる収束性を示している。