[論文レビュー] Meta-PINN: Meta learning for improved neural network wavefield solutions

Shijun Cheng, Tariq Alkhalifah|arXiv (Cornell University)|Jan 21, 2024

Seismic Imaging and Inversion Techniques被引用数 4

ひとこと要約

本稿では、多様な速度モデルにわたる最適なネットワーク初期化を学習することで、地震波場の物理情報付きニューラルネットワーク（PINN）の解法を高速化・改善するメタラーニングフレームワーク、Meta-PINNを提案する。サポートセットとクエリセットを用いた二重ループのメタトレーニングプロセスにより、ランダム初期化の通常PINNと比較して著しく高速な収束と高い精度を達成し、トレーニング時間を最大60％短縮するとともに、限られたエポック数でも波場の表現が向上する。

ABSTRACT

Physics-informed neural networks (PINNs) provide a flexible and effective alternative for estimating seismic wavefield solutions due to their typical mesh-free and unsupervised features. However, their accuracy and training cost restrict their applicability. To address these issues, we propose a novel initialization for PINNs based on meta learning to enhance their performance. In our framework, we first utilize meta learning to train a common network initialization for a distribution of medium parameters (i.e. velocity models). This phase employs a unique training data container, comprising a support set and a query set. We use a dual-loop approach, optimizing network parameters through a bidirectional gradient update from the support set to the query set. Following this, we use the meta-trained PINN model as the initial model for a regular PINN training for a new velocity model in which the optimization of the network is jointly constrained by the physical and regularization losses. Numerical results demonstrate that, compared to the vanilla PINN with random initialization, our method achieves a much fast convergence speed, and also, obtains a significant improvement in the results accuracy. Meanwhile, we showcase that our method can be integrated with existing optimal techniques to further enhance its performance.

研究の動機と目的

• 地震波場シミュレーションにおいて、新しい速度モデルごとに再トレーニングを要する通常PINNの高い計算コストと遅い収束を解消すること。
• 複雑で変動する地下媒質において、PINNが地震波方程式を解く際の一般化性能と効率を向上させること。
• 完全な再トレーニングなしに新しい速度モデルに迅速に適応できる、強固で転送可能なネットワーク初期化を開発すること。
• メタラーニングを既存のPINN最適化技術と統合することで、性能と安定性をさらに向上させること。

提案手法

• 二重ループのメタラーニングフレームワークを採用し、速度モデルの分布に対してサポートセットとクエリセットを用いて双方向勾配更新を実行する。
• メタトレーニング段階では、多様な速度モデルに一般化可能な共有初期化を学習し、新しいモデルに対して完全な再トレーニングの必要性を低減する。
• メタトレーニング後、学習された初期化を用いて標準PINNトレーニングをブートストラップし、物理的損失と正則化損失の共同最適化を実行する。
• 空間的特徴と波場の詳細を改善するために、ネットワークアーキテクチャに位置エンコーディング（PE）を統合する。
• グリッドフリーで非教師ありであるPINNの性質を活かしつつ、メタラーニングで得た初期化によって収束性と精度を向上させる。
• 単純および複雑な速度モデル（過積層構造を含む）を用いてフレームワークの妥当性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いて、新しい地震速度モデルのPINNトレーニングを高速化する汎用的かつ転送可能な初期化を構築できるか？
• RQ2 位置エンコーディングの統合が、メタラーニングで得たPINNの性能にどの程度向上効果をもたらすか？
• RQ3 Meta-PINNフレームワークにおいて、メタトレーニングコストと下流の推論効率のトレードオフはどの程度か？
• RQ4 メタラーニング初期化は、ランダム初期化と比較して波場モデリングの収束速度と解の精度において優れているか？

主な発見

• Meta-PINNは約4,000エポックで収束し、標準PINNが10,000エポックで達成する精度と同等であり、トレーニング時間を60％短縮した。
• 位置エンコーディングを統合したMeta-PINNは2,000エポック目には高品質な波場解に到達するが、標準Meta-PINNはその段階でも一貫した解を生成できない。
• 物理的損失の低下が通常PINNと比較して最大90％速く達成され、優れた最適化ダイナミクスを示した。
• メタトレーニング段階のスケーリングはデータに依存する：10個の速度モデルでは約56 GBのメモリと1エポックあたり17.4秒を要し、100個では約580 GBと174秒を要する。
• 位置エンコーディングの統合により、特に過積層モデルのような複雑な地質的構造において、空間分解能と波場の詳細が顕著に向上した。
• Meta-PINNは極めて複雑な速度モデルに対しても高い精度を維持し、迅速な適応が可能であり、ベースラインPINNよりも速度と忠実度の両面で優れている。