[논문 리뷰] Overview of Physics-Informed Machine Learning Inversion of Geophysical Data

Gerard T. Schuster, Shihang Feng|arXiv (Cornell University)|2023. 10. 12.

Seismic Imaging and Inversion Techniques인용 수 4

한 줄 요약

이 논문은 신경망과 물리 법칙을 공동 목표 함수를 통해 통합함으로써 지구물리학적 데이터에 대한 물리 기반 기계학습(PIML) 역설계를 위한 통합 프레임워크를 제시한다. PIML이 수렴성을 향상시키고 국소 최솟값의 위험을 줄이며, 특히 데이터가 제한적이거나 노이즈가 많은 경우 효율적인 역설계를 가능하게 한다는 점을 입증한다.

ABSTRACT

We review four types of algorithms for physics-informed machine learning (PIML) inversion of geophysical data. The unifying equation is given by the joint objective function $ε$: \begin{eqnarray} ε^{||-PIML}&=&λ_1 \overbrace{||{\bf W}^{ML}({\bf H}_{\bf w} {\bf d}^{obs}-{\bf m})||^2}^{NN} + λ_2 \overbrace{{||{\bf W}^{FWI}({\bf L} {\bf m}-{\bf d}^{obs})||^2}}^{FWI} ~+ onumber\\ onumber\\ && + ~~Regularizer, \label{PIML.eq120} \end{eqnarray}where the optimal model ${\bf m}^*$ and weights $\bf w^*$ minimize $ε$. Here, The matrix weights are given by the boldface symbol $\bf W$, and full waveform inversion (FWI) is typically computed using a finite-difference solution of the wave equation, where $\bf L$ represents the forward modeling operation of the wave equation as a function of the model $\bf m$. Also, a fully-connected neural network (NN) is used to compute the model ${\bf H_w}{\bf d}^{obs} \approx \bf m$ from the observed input data ${\bf d}^{obs}$. The selection of weights $λ_i$ and the NN operations determine one of four different PIML algorithms. PIML offers potential advantages over standard FWI through its enhanced ability to avoid local minima and the option to locally train the inversion operator, minimizing the requirement for extensive training data for global applicability. However, the effectiveness of PIML relies on the similarity between the test and trained data. Nevertheless, a possible strategy to overcome this limitation involves initial pretraining of a PIML architecture with data from a broader region, followed by fine-tuning for specific data-a method reminiscent of the way large language models are pretrained and adapted for various tasks.

연구 동기 및 목표

• 순수 물리 기반 역설계(예: 전체 파동형상 역설계)의 한계와 순수 데이터 기반 기계학습 간의 균형을 맞추기 위해 신경망 학습 과정에 물리적 제약 조건을 통합하는 것.
• 학습 데이터의 대규모 요구를 줄이기 위해 물리 법칙을 직접 학습 과정에 통합함으로써 일반화 능력과 강인성을 향상시키는 것.
• 조정 가능한 초매개변수와 손실 구성 요소를 통해 다양한 역설계 전략을 지원하는 유연하고 통합된 PIML 프레임워크를 개발하는 것.
• 더 넓은 데이터로 사전 학습하고 특정 목표에 대해 미세 조정함으로써 지구물리학적 역설계에서 전이 학습을 가능하게 하여 대규모 언어 모델의 적응 방식을 모방하는 것.
• 물리 법칙을 정규화 요소로 활용하여 비선형 지구물리학적 역설계에서 수렴성을 향상시키고 국소 최솟값을 피하는 것

제안 방법

• 관측 데이터 d^obs에서 모델 m로의 매핑을 위해 완전 연결 신경망(NN)을 사용하고, 학습 가능한 가중치 w를 최적화하여 공동 손실을 최소화하는 공동 목표 함수 ε를 정의함.
• 파동 방정식을 기반으로 하는 전체 파동형상 역설계(FWI)를 물리 기반의 정방향 모델링 연산자 L로 통합하며, 데이터 신뢰도를 처리하기 위해 행렬 가중치 W^FWI를 사용함.
• 예측 압력장이 편미분방정식(PDE)을 만족하도록 보장하기 위해 물리 기반 신경망(PINNs)을 활용하여 약어 파동 방정식을 손실 항 ε^physics로 구현함.
• 경계 조건과 초기 조건을 별도의 손실 항(ε^BC 및 ε^IC)으로 통합하여 도메인 경계와 시간 0에서의 물리적 일관성을 확보함.
• 저주파수 데이터부터 먼저 역설계를 수행하고, 그 결과 모델과 가중치를 활용해 고주파수 역설계를 전이 학습 방식으로 초기화하는 다스케일 역설계 전략을 적용함.

Figure 1: Schematics for data inversion by a) pure-physics FWI, b) pure-data ML, and c) skeletal-data ML where $F({\bf d})$ is a filtering operation that extracts skeletal data from the recorded data. The dashed rectangles indicate that the enclosed system trains on many examples to get the optimal

실험 결과

연구 질문

• RQ1 표준 전체 파동형상 역설계(FWI)에 비해 물리 기반 기계학습(PIML)이 지구물리학적 역설계에서 수렴성 향상과 국소 최솟값 감소에 어떻게 기여하는가?
• RQ2 손실 함수 내에 물리 제약 조건이 포함될 경우, 지구물리학적 모델 역설계에서 대규모이고 다양한 훈련 데이터 세트의 필요성을 얼마나 줄일 수 있는가?
• RQ3 저파수 모델에서의 전이 학습이 지반파 데이터의 고파수 역설계 정확도와 안정성 향상에 기여하는가?
• RQ4 다양한 손실 구성 요소—데이터 불일치, 물리 법칙, 경계 조건, 초기 조건—간의 상호작용이 PIML 역설계의 안정성과 수렴 속도 향상에 어떻게 기여하는가?
• RQ5 다스케일 역설계가 지구물리학적 데이터에 대한 PIML의 효율성과 강인성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 물리 법칙을 최적화 과정에 직접 통합함으로써 PIML 역설계는 표준 FWI에 비해 더 나은 수렴성과 국소 최솟값 위험 감소를 달성한다.
• 공동 목표 함수 ε는 데이터 불일치, 물리 일관성, 경계 조건, 초기 조건, 정규화를 통합하여 최소한의 훈련 데이터로도 강인한 역설계를 가능하게 한다.
• 물리 기반 신경망(PINNs)은 약어 파동 방정식을 손실 항으로 효과적으로 구현하여 예측 압력장이 공간과 시간 전역에서 PDE를 만족함을 보장한다.
• 경계 조건 및 초기 조건 제약은 전용 손실 항(ε^BC 및 ε^IC)을 통해 효과적으로 구현되어 해의 물리적 현실성과 안정성이 향상된다.
• 저파수 모델에서의 전이 학습은 고주파수 역설계 성능을 크게 향상시켜 더 빠른 수렴과 더 나은 모델 정확도를 가능하게 한다.
• 저주파수 데이터를 기반으로 한 다스케일 역설계 전략은 후속 고주파수 역설계의 강인성을 향상시켜 발산 위험을 감소시킨다.

Figure 2: Diagram illustrating physics-related constraints as a function of data size (Karniadakis et al.,, 2021 ) . Here, physics provides extra information that can make up for the lack of sufficient data in the training of an ML algorithm.