[논문 리뷰] Seismic wave propagation and inversion with Neural Operators

Yan Yang, Angela F. Gao외 4명|arXiv (Cornell University)|2021. 08. 11.

Seismic Imaging and Inversion Techniques참고 문헌 23인용 수 5

한 줄 요약

이 논문은 2D 음향파 방정식의 일반 해를 학습하기 위해 푸리에 신경 연산자(FNOs)를 사용함으로써, 단일 학습 단계 이후에 어떤 속도 모델이나 소스 위치에 대해서도 거의 즉각적인 파동장 예측을 가능하게 한다. 이 방법은 기울기 계산을 위해 자동 미분을 활용함으로써 기존의 스펙트럼 요소 방법보다 완전파형 역설계(FWI)를 최대 10배 빠르게 구현하며, 지질학에서 확장 가능한, 물리 기반의 기울기 가능 딥러닝으로 향한 핵심 단계를 보여준다.

ABSTRACT

Seismic wave propagation forms the basis for most aspects of seismological research, yet solving the wave equation is a major computational burden that inhibits the progress of research. This is exacerbated by the fact that new simulations must be performed when the velocity structure or source location is perturbed. Here, we explore a prototype framework for learning general solutions using a recently developed machine learning paradigm called Neural Operator. A trained Neural Operator can compute a solution in negligible time for any velocity structure or source location. We develop a scheme to train Neural Operators on an ensemble of simulations performed with random velocity models and source locations. As Neural Operators are grid-free, it is possible to evaluate solutions on higher resolution velocity models than trained on, providing additional computational efficiency. We illustrate the method with the 2D acoustic wave equation and demonstrate the method's applicability to seismic tomography, using reverse mode automatic differentiation to compute gradients of the wavefield with respect to the velocity structure. The developed procedure is nearly an order of magnitude faster than using conventional numerical methods for full waveform inversion.

연구 동기 및 목표

• 속도 구조나 소스 위치의 변화로 인한 반복적인 지진파 시뮬레이션의 높은 계산 비용을 해결한다.
• 기존 수치 방법의 한계를 극복하여 새로운 모델이나 소스 설정이 매번 재시뮬레이션을 필요로 하지 않도록 한다.
• 물리 기반의 머신러닝을 사용하여 지진파 전파 및 역설계를 위한 기울기 가능이고 그리드 기반의 프레임워크를 개발한다.
• 2D 음향파 방정식에 대해 신경 연산자가 일반 해 연산자를 학습할 수 있는지의 가능성을 입증한다.
• 기존의 정방형 해법 대신 훈련된 FNO를 사용하고 자동 미분을 통해 기울기를 계산함으로써 효율적인 완전파형 역설계(FWI)를 가능하게 한다.

제안 방법

• 랜덤으로 샘플된 속도 모델과 소스 위치를 가진 2D 음향파 시뮬레이션의 앙상블에 대해 FNO를 훈련한다.
• 훈련 중에 사용된 해상도보다 높은 해상도의 속도 모델에도 일반화 가능한 그리드 기반 아키텍처를 사용하여 계산 효율성을 확보한다.
• 파동 방정식을 함수에서 함수로의 매핑 문제로 재구성하여, FNO가 초기 조건과 속도 구조로부터 해 연산자를 학습하도록 한다.
• 역방향 자동 미분을 적용하여 파동장이 속도 모델과 소스 위치에 대해 기울기를 계산함으로써 역설계를 가능하게 한다.
• FNO를 정방형 모델로 사용하여 완전파형 역설계(FWI)를 수행하며, 관측된 파동장과 예측된 파동장 간의 L2 오차를 손실로 계산한다.
• Adam 최적화기로 1000회 반복 동안 속도 모델을 최적화하며, 단일 GPU에서 효율적으로 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 다양한 속도 구조와 소스 위치에 대해 단일 FNO 모델이 일반화 가능한가?
• RQ2 FNO 기반 FWI의 계산 효율성은 어드조인트 상태 기울기 계산을 사용하는 기존 스펙트럼 요소 방법과 비교해 어떻게 되는가?
• RQ3 훈련에 사용된 속도 모델보다 더 높은 해상도의 속도 모델로 FNO가 얼마나 일반화 가능한가?
• RQ4 FNO를 통해 자동 미분을 통해 얻은 기울기가 지구물리학적 토모그래피와 같은 역문제에 대해 정확한가?
• RQ5 파동 전파에서 수치 해법 대신 학습된 연산자로 대체할 경우, 해의 정확도와 계산 속도 사이의 상충 관계는 어떠한가?

주요 결과

• 테스트 케이스에서 FNO 기반 FWI 프레임워크는 상대적 ℓ₂ 오차 0.0319를 기록했으며, 어드조인트 상태 역설계를 사용하는 기존 스펙트럼 요소 방법(SEM)의 0.0289보다 약간 높았다.
• FNO를 사용한 FWI 한 번의 반복은 단일 NVIDIA Tesla V100 GPU에서 약 1초가 소요되었고, SEM 기반 방법은 약 100초가 소요되었다.
• FNO 모델은 훈련에 사용된 해상도보다 더 높은 해상도의 속도 모델로도 일반화되었으며, 재훈련 없이도 더 빠른 평가가 가능했다.
• 기울기를 직접 자동 미분을 통해 계산함으로써 어드조인트 파동장을 계산하거나 교차상관을 수행할 필요가 없어졌다.
• 모델은 급격한 불연속성과 짧은 파장 특징을 가진 속도 모델에서도 강력한 성능을 보이며, 뛰어난 일반화 능력을 입증했다.
• 단 몇천 개의 훈련 시뮬레이션만으로도 새로운 구성에 대해 거의 시간이 소요되지 않는 해를 생성할 수 있는 FNO를 훈련시킬 수 있었다.