[논문 리뷰] Unsupervised Learning of Full-Waveform Inversion: Connecting CNN and Partial Differential Equation in a Loop

Jin Peng, Xitong Zhang외 4명|arXiv (Cornell University)|2021. 10. 14.

Seismic Imaging and Inversion Techniques참고 문헌 29인용 수 23

한 줄 요약

이 논문은 지속적인 파동 PDE의 미분 가능 유한차분 기반 정방 모델링과 컨volution 신경망(CNN)을 통합한 비지도 학습 프레임워크 UPFWI를 제안한다. 이는 지하 속도 지도의 진정한 레이블이 필요 없이 지반 탐사 데이터를 지하 속도 지도로 역행하는 데에 사용된다. CNN을 정방 모델링의 반복적 PDE 루프를 통해 지도되지 않은 방식으로 지반 탐사 데이터를 재구성하도록 훈련시킴으로써, 더 큰 비라벨 데이터셋을 사용할 경우 지도 학습 기반 모델보다 성능이 유사하거나 뛰어나며, 전파형 역행 문제를 위한 OpenFWI 벤치마크를 도입한다.

ABSTRACT

This paper investigates unsupervised learning of Full-Waveform Inversion (FWI), which has been widely used in geophysics to estimate subsurface velocity maps from seismic data. This problem is mathematically formulated by a second order partial differential equation (PDE), but is hard to solve. Moreover, acquiring velocity map is extremely expensive, making it impractical to scale up a supervised approach to train the mapping from seismic data to velocity maps with convolutional neural networks (CNN). We address these difficulties by integrating PDE and CNN in a loop, thus shifting the paradigm to unsupervised learning that only requires seismic data. In particular, we use finite difference to approximate the forward modeling of PDE as a differentiable operator (from velocity map to seismic data) and model its inversion by CNN (from seismic data to velocity map). Hence, we transform the supervised inversion task into an unsupervised seismic data reconstruction task. We also introduce a new large-scale dataset OpenFWI, to establish a more challenging benchmark for the community. Experiment results show that our model (using seismic data alone) yields comparable accuracy to the supervised counterpart (using both seismic data and velocity map). Furthermore, it outperforms the supervised model when involving more seismic data.

연구 동기 및 목표

• 전파형 역행 문제(FWI)에서 높은 계산 비용과 진정한 속도 지도의 부족이 지도 학습 기반 접근법을 방해하는 문제를 해결하기 위해.
• 지면 탐사 데이터와 속도 지도의 레이블 쌍이 필요 없는 비지도 학습 프레임워크를 개발하기 위해.
• 물리 기반 정방 모델링(PDE 기반)과 데이터 기반 딥 러닝(CNN 기반)을 종단 간에 미분 가능한 루프로 통합하여 역행 문제 해결을 위해.
• 60,000개의 레이블이 부여된, 48,000개의 비레이블 지면 탐사-속도 쌍을 포함한 대규모이고 도전적인 새로운 벤치마크 데이터셋인 OpenFWI를 구축하여 공정한 평가를 가능하게 하기 위해.
• 시각적 손실이 MSE나 MAE와 같은 표준 손실 함수를 초월해 재구성 품질과 일반화 능력을 향상시키며, 비지도 FWI에서의 품질 향상에 기여하는지 검증하기 위해.

제안 방법

• 이 방법은 지도되지 않은 레이블이 없는 상태에서 직접 지면 탐사 데이터에서 속도 지도를 예측하기 위해 CNN을 사용한다.
• 예측된 속도 지도는 음파 파동 PDE의 유한차분 근사에 기반한 미분 가능한 정방 모델링에 입력되어 합성 지면 탐사 데이터를 시뮬레이션한다.
• 합성 데이터는 입력 지면 탐사 데이터와 재구성 손실을 통해 비교되며, 이는 CNN을 종단 간에 비지도 방식으로 훈련시킬 수 있도록 한다.
• 정방 모델링 연산자는 미분 가능하므로, PDE를 통해 역전파가 가능하여 속도 지도의 지도 없이도 CNN 가중치를 최적화할 수 있다.
• 시각적 손실은 재구성 손실에 통합되어 파형의 구조적 일관성을 유지하고 역행 문제의 품질을 향상시킨다.
• 이 프레임워크는 훈련 중에 진정한 속도 지도를 전혀 사용하지 않고, 비라벨 지면 탐사 데이터 전용으로 훈련된다.

실험 결과

연구 질문

• RQ1 비지도 딥 러닝 프레임워크가 레이블이 없는 지면 탐사 데이터 전용으로 훈련되었을 때, 지도 학습 기반 방법과 유사하거나 더 뛰어난 FWI 성능을 달성할 수 있는가?
• RQ2 미분 가능한 PDE 모델링과 CNN을 통합함으로써, 역행 문제에서 일반화 능력과 재구성 정확도가 어떻게 향상되는가?
• RQ3 특히 시각적 손실을 포함한 손실 함수 구성 요소 중에서 예측된 속도 지도의 품질을 가장 크게 향상시키는 요소는 무엇인가?
• RQ4 OpenFWI처럼 대규모이고 다양한 합성 데이터셋이 비지도 FWI 방법 평가를 위한 견고한 벤치마크로 기능할 수 있는가?
• RQ5 비지도 FWI의 성능은 지도 기반 보다 더 많은 비라벨 지면 탐사 데이터가 제공될 경우에 유의미하게 향상되는가?

주요 결과

• 비라벨 지면 탐사 트레이스 48,000개로 훈련된 UPFWI는 평탄한 층을 가진 속도 지도에서 평균 제곱 오차(MSE)가 1146.09를 기록했으며, 이는 지도 학습 기반 H-PGNN+ 기준 대비 26.77% 감소한 것이다.
• 곡선 층을 가진 속도 지도에 대해서는 UPFWI가 구조 유사도(SSIM) 측면에서 지도 학습 기반 H-PGNN+ 모델을 능가했으며, OpenFWI 데이터셋에서 0.9895의 SSIM을 달성했다.
• 절단 실험을 통해 시각적 손실이 재구성된 파형과 속도 지도의 품질을 크게 향상시키며, MSE와 MAE보다 지질학적 구조를 더 잘 유지하는 것으로 확인되었다.
• 미분 가능한 PDE에서 유도되는 인덕티브 바이어스 덕분에, 다양한 이격 거리와 기울기 각도를 가진 단층 등의 복잡한 지질학적 구조에서도 UPFWI는 뛰어난 일반화 능력을 보였다.
• OpenFWI 벤치마크에서 최신 기술 수준의 성능을 달성하여, 높은 구조 복잡도를 가진 실제 세계 유사 환경에서의 효과성을 입증했다.
• 더 많은 비라벨 데이터가 제공될수록 비지도 접근법이 지도 기반 보다 더 뛰어난 일반화 능력을 보이며, 자료가 부족한 환경에서의 확장성 우수성을 보였다.