[논문 리뷰] Seismic Full-Waveform Inversion Using Deep Learning Tools and Techniques

Alan Richardson|arXiv (Cornell University)|2018. 01. 22.

Seismic Imaging and Inversion Techniques참고 문헌 3인용 수 46

한 줄 요약

본 논문은 지진 전체 파형 역추정(FWI)을 딥 러닝 소프트웨어(TensorFlow 등)를 사용한 순환 신경망(RNN)으로 구현할 수 있음을 보이고, Adam 미니배치 최적화가 SGD나 L-BFGS-B보다 더 빠르고 더 안정적인 수렴을 보이며, 기울기가 adjoint state method와 일치함을 보여준다.

ABSTRACT

I demonstrate that the conventional seismic full-waveform inversion algorithm can be constructed as a recurrent neural network and so implemented using deep learning software such as TensorFlow. Applying another deep learning concept, the Adam optimizer with minibatches of data, produces quicker convergence toward the true wave speed model on a 2D dataset than Stochastic Gradient Descent and than the L-BFGS-B optimizer with the cost function and gradient computed using the entire training dataset. I also show that the cost function gradient calculation using reverse-mode automatic differentiation is the same as that used in the adjoint state method.

연구 동기 및 목표

• 딥 러닝을 FWI와 결합하려는 동기를 딥 뉴럴 네트워크/DNN/RNN으로 구현하여 FWI를 DL 소프트웨어에서 수행하는 것을 제시한다.
• DL의 자동 미분 기울기가 FWI의 adjoint-state 기울기와 일치하는지 보여준다.
• SEAM 기반 2D 모델에서 맥락 속도업 업데이트를 위해 Adam와 SGD를 L-BFGS-B와 대조하여 수렴 속도와 정확도를 평가한다.
• DL 도구를 FWI에 적용할 때의 메모리 및 개발 데이터 셋 필요성 등 실용적 고려사항을 평가한다.]
• method:[
• Represent forward modeling of the wave equation as an RNN where each unit advances one time step of the finite-difference scheme.
• Use convolution with a finite difference kernel to implement spatial derivatives within the RNN framework.
• Compute the gradient via automatic differentiation and relate it to the adjoint state method (Appendix A).
• Compare Adam, SGD (with minibatches), and L-BFGS-B optimizers on a SEAM-based 2D dataset to evaluate convergence speed and stability.
• Reserve a development dataset to tune hyperparameters such as batch size and learning rate using the SEAM-derived model.
• Discuss memory considerations of automatic differentiation versus adjoint-state gradient calculation.

제안 방법

• forward 모델링을 유한차 분할(FD) 스킴의 한 시간 단계를 진행시키는 RNN으로 표현한다.
• RNN 프레임워크 내에서 공간 미분을 구현하기 위해 유한차 커널과 합성곱을 사용한다.
• 자동 미분으로 기울기를 계산하고 이를 adjoint state method와 연결한다(부록 A).
• SEAM 기반 2D 데이터 세트에서 Adam, SGD(미니배치 포함), L-BFGS-B 최적화 기법을 비교하여 수렴 속도와 안정성을 평가한다.
• SEAM 유래 모델을 사용하여 배치 크기 및 학습률과 같은 하이퍼파라미터를 조정하기 위한 개발 데이터 세트를 마련한다.
• 자동 미분 대비 adjoint-state 기울기 계산의 메모리 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 딥 러닝 소프트웨어를 사용하여 FWI를 재귀 신경망으로 형식화하고 실행할 수 있는가?
• RQ2 자동 미분 기울기와 FWI의 adjoint-state 기울기가 파동 속도 업데이트에 대해 어떻게 비교되는가?
• RQ3 DL 기반 FWI에서 미니배치 최적화(Adam, SGD)가 전체 배치 L-BFGS-B보다 더 빠르고 안정적인 수렴을 제공하는가?
• RQ4 DL 도구를 FWI에 적용할 때의 실용적 고려사항(메모리, 하이퍼파라미터 조정)은 무엇인가?

주요 결과

• FWI는 TensorFlow와 같은 DL 소프트웨어를 사용하여 RNN으로 구현될 수 있으며, 순방향 모델링과 기울기 계산이 가능하다.
• 자동 미분으로 얻은 기울기는 adjoint state method의 기울기와 근접하게 일치하며, 경계 편차가 작다.
• Adam은 미니배치와 함께 SDG 및 L-BFGS-B보다 더 빠르고 더 안정적으로 수렴하며, SEAM 기반 2D 데이터 세트에서 자주 진짜 모델에 근접한 상태로 더 적은 평가로 도달한다.
• 하이퍼파라미터 조정을 위한 개발 데이터는 수렴성과 일반화에 도움이 된다.
• Adam은 더 빠른 수렴을 달성하고 SGD보다 진짜 모델에 더 근접한 모델을 생성하는 반면, L-BFGS-B는 수렴 속도가 느리고 모델 업데이트가 적다.Manual