[論文レビュー] Overview of Physics-Informed Machine Learning Inversion of Geophysical Data

Gerard T. Schuster, Shihang Feng|arXiv (Cornell University)|Oct 12, 2023

Seismic Imaging and Inversion Techniques被引用数 4

ひとこと要約

本稿では、データミスフィット、物理的整合性、境界条件、初期条件、正則化を統合した共同目的関数を用いて、ニューラルネットワークと物理法則を統合する統一的フレームワークを提示する。PIMLは収束性を向上させ、局所的最小値のリスクを低減し、特にデータが限られているかノイズが多い状況下でも、効率的な逆問題解法を可能にする。

ABSTRACT

We review four types of algorithms for physics-informed machine learning (PIML) inversion of geophysical data. The unifying equation is given by the joint objective function $ε$: \begin{eqnarray} ε^{||-PIML}&=&λ_1 \overbrace{||{\bf W}^{ML}({\bf H}_{\bf w} {\bf d}^{obs}-{\bf m})||^2}^{NN} + λ_2 \overbrace{{||{\bf W}^{FWI}({\bf L} {\bf m}-{\bf d}^{obs})||^2}}^{FWI} ~+ onumber\\ onumber\\ && + ~~Regularizer, \label{PIML.eq120} \end{eqnarray}where the optimal model ${\bf m}^*$ and weights $\bf w^*$ minimize $ε$. Here, The matrix weights are given by the boldface symbol $\bf W$, and full waveform inversion (FWI) is typically computed using a finite-difference solution of the wave equation, where $\bf L$ represents the forward modeling operation of the wave equation as a function of the model $\bf m$. Also, a fully-connected neural network (NN) is used to compute the model ${\bf H_w}{\bf d}^{obs} \approx \bf m$ from the observed input data ${\bf d}^{obs}$. The selection of weights $λ_i$ and the NN operations determine one of four different PIML algorithms. PIML offers potential advantages over standard FWI through its enhanced ability to avoid local minima and the option to locally train the inversion operator, minimizing the requirement for extensive training data for global applicability. However, the effectiveness of PIML relies on the similarity between the test and trained data. Nevertheless, a possible strategy to overcome this limitation involves initial pretraining of a PIML architecture with data from a broader region, followed by fine-tuning for specific data-a method reminiscent of the way large language models are pretrained and adapted for various tasks.

研究の動機と目的

• 純粋な物理ベースの逆問題（例：フル波形逆問題）と純粋なデータ駆動型機械学習の限界を克服するため、ニューラルネットワークの学習に物理的制約を統合すること。
• 大規模な訓練データに依存しないように、物理法則を直接学習プロセスに埋め込むことで、一般化性能とロバスト性を向上させること。
• 調整可能なハイパーパrameterと損失成分を備えた、柔軟で統一的なPIMLフレームワークを構築すること。
• 広範なデータで事前学習を行い、特定のターゲットに対して微調整することで、大規模言語モデルの適応に類似した、地球物理的逆問題における転移学習を可能にすること。
• 物理法則を正則化として活用することで、非線形地球物理的逆問題における収束性を向上させ、局所的最小値を回避すること。

提案手法

• データミスフィット、物理的整合性、境界条件、初期条件、正則化を統合した共同目的関数εを定式化し、エンドツーエンドのPIML逆問題解法を可能にする。
• 全結合ニューラルネットワーク（NN）を用い、観測データd^obsからモデルmへの写像H_wを実装し、最適化により学習可能な重みwを最小化する。
• 波動方程式に従う物理ベースの前方モデル演算子L（フル波形逆問題FWI）を統合し、データ信頼性を扱うための行列重みW^FWIを導入する。
• 物理学に基づくニューラルネットワーク（PINNs）を用い、音響波動方程式を損失項ε^physicsとして強制し、予測された圧力場が空間的・時間的全域でPDEを満たすようにする。
• 境界条件と初期条件を別個の損失項（ε^BC と ε^IC）として統合し、領域の端縁および時間ゼロにおける物理的整合性を保証する。
• マルチスケール逆問題戦略を採用：低周波数データを最初に逆問題化し、その結果得られたモデルと重みを用いて、転移学習により高周波数逆問題の初期化を実施する。

Figure 1: Schematics for data inversion by a) pure-physics FWI, b) pure-data ML, and c) skeletal-data ML where $F({\bf d})$ is a filtering operation that extracts skeletal data from the recorded data. The dashed rectangles indicate that the enclosed system trains on many examples to get the optimal

実験結果

リサーチクエスチョン

• RQ1 標準的フル波形逆問題（FWI）と比較して、物理学に基づく機械学習（PIML）が地球物理的逆問題における収束性をどのように向上させ、局所的最小値のリスクを低減するか。
• RQ2 損失関数内に物理的制約を組み込むことで、地球物理的モデル逆問題において、大規模かつ多様な訓練データの必要性はどの程度低減可能か。
• RQ3 低波数モデルからの転移学習が、地震データにおける高波数逆問題の精度と安定性をどのように向上させるか。
• RQ4 データミスフィット、物理的整合性、境界条件、初期条件といった異なる損失成分が、PIML逆問題の安定性と加速性にどのように相互作用するか。
• RQ5 マルチスケール逆問題が、地球物理的データに対するPIMLの効率性とロバスト性をどのように向上させるか。

主な発見

• 物理法則を最適化プロセスに直接統合することで、PIML逆問題は標準的FWIと比較して収束性が向上し、局所的最小値のリスクが低減される。
• 共同目的関数εは、データミスフィット、物理的整合性、境界条件、初期条件、正則化を統合しており、最小限の訓練データで堅牢な逆問題解法を可能にする。
• 物理学に基づくニューラルネットワーク（PINNs）は、音響波動方程式を損失項として効果的に強制し、空間的・時間的全域で予測された圧力場がPDEを満たすことを保証する。
• 境界条件および初期条件の制約は、専用の損失項（ε^BC と ε^IC）により効果的に強制され、解の物理的現実性と安定性が向上する。
• 低波数モデルからの転移学習は、高周波数逆問題の性能を顕著に向上させ、収束速度の向上とモデル精度の向上を実現する。
• 低周波数データを初期ステップとして用いるマルチスケール逆問題戦略により、その後の高周波数逆問題のロバスト性が向上し、発散のリスクが低減される。

Figure 2: Diagram illustrating physics-related constraints as a function of data size (Karniadakis et al.,, 2021 ) . Here, physics provides extra information that can make up for the lack of sufficient data in the training of an ML algorithm.