[논문 리뷰] Integrating Deep Neural Networks with Full-waveform Inversion: Reparametrization, Regularization, and Uncertainty Quantification

Weiqiang Zhu, Kailai Xu외 3명|arXiv (Cornell University)|2020. 12. 21.

Seismic Imaging and Inversion Techniques참고 문헌 50인용 수 15

한 줄 요약

이 논문은 전체파면역산(Full Waveform Inversion, FWI)에서 속도 모델을 파arameter화하기 위해 생성적 신경망을 사용하는 물리기반 딥러닝 방법인 신경망 전체파면역산(Neural Network Full Waveform Inversion, NNFWI)을 제안한다. PDE 해석기와 신경망을 통해 기울기를 역전파하는 자동미분을 활용함으로써, 사이클 스트래핑을 완화하고 노이즈에 대한 강건성을 향상시키는 암묵적 공간 정규화를 도입한다. 동시에 몬테카를로 드롭아웃을 통해 불확실성 정량화를 가능하게 하여, 전통적 FWI와 유사한 성능을 달성하면서도 안정성과 노이즈 내성에서 향상된 성능을 보인다.

ABSTRACT

Full-waveform inversion (FWI) is an accurate imaging approach for modeling velocity structure by minimizing the misfit between recorded and predicted seismic waveforms. However, the strong non-linearity of FWI resulting from fitting oscillatory waveforms can trap the optimization in local minima. We propose a neural-network-based full waveform inversion method (NNFWI) that integrates deep neural networks with FWI by representing the velocity model with a generative neural network. Neural networks can naturally introduce spatial correlations as regularization to the generated velocity model, which suppresses noise in the gradients and mitigates local minima. The velocity model generated by neural networks is input to the same partial differential equation (PDE) solvers used in conventional FWI. The gradients of both the neural networks and PDEs are calculated using automatic differentiation, which back-propagates gradients through the acoustic PDEs and neural network layers to update the weights of the generative neural network. Experiments on 1D velocity models, the Marmousi model, and the 2004 BP model demonstrate that NNFWI can mitigate local minima, especially for imaging high-contrast features like salt bodies, and significantly improves the inversion in the presence of noise. Adding dropout layers to the neural network model also allows analyzing the uncertainty of the inversion results through Monte Carlo dropout. NNFWI opens a new pathway to combine deep learning and FWI for exploiting both the characteristics of deep neural networks and the high accuracy of PDE solvers. Because NNFWI does not require extra training data and optimization loops, it provides an attractive and straightforward alternative to conventional FWI.

연구 동기 및 목표

• 진동하는 파면과 사이클 스트래핑으로 인해 발생하는 강한 비선형성과 국소 최솟값 문제를 해결하기 위해.
• 깊이 생성 모델을 통한 암묵적 정규화를 도입하여, 노이즈가 많은 환경이나 초기 모델이 열악한 상황에서도 FWI의 강건성을 향상시키기 위해.
• 물리학에 제약을 두고 구축된 딥러닝 프레임워크 내에서 몬테카를로 드롭아웃을 활용해 고차원 속도 추정의 불확실성 정량화를 가능하게 하기 위해.
• PDE 제약 최적화의 정확성을 유지하면서도 사전학습이나 추가 최적화 루프가 필요 없도록, 역산 워크플로우를 단순화하는 방법을 개발하기 위해.

제안 방법

• 스킵 연결이 있는 U-Net과 같은 깊이 생성 신경망을 사용하여 속도 모델을 표현함으로써, 공간 상관관계를 암묵적으로 코딩하고 노이즈를 억제한다.
• 기존 FWI의 PDE 제약 최적화 프레임워크에 신경망 파arameter화를 통합하며, 동일한 음향파면역산 해석기를 사용한다.
• 자기미분을 활용해 PDE 해석기와 신경망 레이어를 모두 거쳐 손실 함수의 기울기를 계산함으로써, 엔드 투 엔드 역전파를 가능하게 한다.
• 표준 최적화 알고리즘(L-BFGS, Adam 등)을 사용해 신경망 가중치를 직접 최적화함으로써, 별도의 학습 또는 반복적 재파arameter화 단계를 피한다.
• 추론 중 드롭아웃 레이어를 적용하여 몬테카를로 샘플링을 수행하고, 속도 모델의 예측 불확실성을 추정한다.
• 기존 FWI와 동일한 데이터와 PDE 해석기를 사용하여 호환성과 직접적인 성능 비교를 보장한다.

실험 결과

연구 질문

• RQ1 깊이 생성 신경망이 공간 상관관계를 코딩하고 기울기의 노이즈를 감소시킴으로써 FWI 역산 과정을 효과적으로 정규화할 수 있는가?
• RQ2 신경망에서 유도된 암묵적 정규화가 기존의 티본코프 또는 총변동성 정규화와 비교해 사이클 스트래핑 문제를 얼마나 효과적으로 완화하는가?
• RQ3 생성 네트워크에 적용된 몬테카를로 드롭아웃이 추가적인 계산 비용 없이 신뢰할 수 있는 불확실성 추정을 제공할 수 있는가?
• RQ4 특히 고대비 또는 노이즈가 많은 상황에서 NNFWI가 기존 FWI와 비교해 유사하거나 향상된 역산 정확도를 달성할 수 있는가?
• RQ5 NNFWI는 사전학습이나 추가 최적화 루프 없이도 표준 FWI의 즉시 사용 가능한 대체 방법으로 구현될 수 있는가?

주요 결과

• NNFWI는 국소 최솟값과 사이클 스트래핑을 효과적으로 완화하며, 특히 소금 몸체와 같은 고대비 특징의 이미징에서 기존 FWI보다 도전적인 상황에서 뛰어난 성능을 보였다.
• 생성적 신경망의 깊이 이미지 프라이어르가 효과적인 정규화 메커니즘으로 작용하여 기울기의 노이즈를 억제하고 수렴 안정성을 향상시켰다.
• NNFWI는 기존 FWI와 유사한 역산 정확도를 달성하면서도 지속적으로 노이즈가 많은 지반세ismic 데이터에 대한 강건성을 높였다.
• 몬테카를로 드롭아웃은 신뢰할 수 있는 불확실성 정량화를 제공하였으며, Marmousi 및 2004 BP 모델에서 예측된 표준편차가 실제 역산 오차와 매우 유사하게 일치하였다.
• 추가 학습 데이터나 최적화 루프가 필요 없어 계산 효율적이며, 기존 FWI 워크플로우에 직접 적용 가능했다.
• 드롭아웃을 통한 불확실성 추정은 공간적으로 일관성이 있었으며, 높은 역산 오차가 발생하는 영역와 상관관계를 보였으며, 이는 모델 신뢰도의 대체 지표로 사용될 수 있음을 검증하였다.