[논문 리뷰] Data-driven geophysics: from dictionary learning to deep learning

Siwei Yu, Jianwei Ma|arXiv (Cornell University)|2020. 07. 13.

Seismic Imaging and Inversion Techniques참고 문헌 130인용 수 13

한 줄 요약

이 논문은 기존의 모델 기반 접근 방식의 한계를 해결하기 위해 데이터 기반 지구물리학 기법을 종합적으로 검토한다. 사전 학습 기반 기법에서 딥 러닝으로의 전환을 다루며, 다양한 지구물리학적 응용 분야에서 데이터 처리, 역문제 해결 및 해석 향상에 기여한다. 지구과학자들을 위한 실용적 지침과 향후 연구 방향을 제시한다.

ABSTRACT

Understanding the principles of geophysical phenomena is an essential and challenging task. "Model-driven" approaches have supported the development of geophysics for a long time; however, such methods suffer from the curse of dimensionality and may inaccurately model the subsurface. "Data-driven" techniques may overcome these issues with increasingly available geophysical data. In this article, we review the basic concepts of and recent advances in data-driven approaches from dictionary learning to deep learning in a variety of geophysical scenarios. Explorational geophysics including data processing, inversion and interpretation will be mainly focused. Artificial intelligence applications on geoscience involving deep Earth, earthquake, water resource, atmospheric science, satellite remoe sensing and space sciences are also reviewed. We present a coding tutorial and a summary of tips for beginners and interested geophysical readers to rapidly explore deep learning. Some promising directions are provided for future research involving deep learning in geophysics, such as unsupervised learning, transfer learning, multimodal deep learning, federated learning, uncertainty estimation, and activate learning.

연구 동기 및 목표

• 차원의 저주 및 부정확한 지하 구조 모델링 등의 모델 기반 지구물리학의 한계를 해결하기 위해.
• 지구물리학적 데이터 처리, 역문제 해결 및 해석을 위한 최근의 데이터 기반 기법, 예를 들어 사전 학습 기반 기법과 딥 러닝의 발전을 검토하기 위해.
• 딥 러닝에 익숙하지 않은 지구과학자들을 위해 실용적인 코딩 가이드북과 구현 팁을 제공하기 위해.
• 비지도 학습, 전이 학습, 불확실성 추정과 같은 새로운 연구 방향을 식별하고 논의하기 위해.
• 딥 러닝과 지구과학 간 격차를 해소하기 위해, 내부 지구, 수문학, 대기과학 및 원격 탐사 분야의 응용 사례를 제시하기 위해.

제안 방법

• 지구물리학적 데이터에 대한 희박한 표현 기법으로서의 사전 학습 기반 기법을 체계적으로 검토하여 효율적인 특징 추출을 가능하게 한다.
• 지구물리학적 데이터 분석을 위한 컨볼루션 신경망(CNNs)과 오토인코더와 같은 딥 러닝 아키텍처를 소개한다.
• 기존의 지구물리학 워크플로우, 예를 들어 전체파면 역문제와 지반 탐사에 데이터 기반 기법을 통합하기 위한 프레임워크를 제안한다.
• 빠른 프로토타이핑을 가능하게 하기 위해 PyTorch와 일반적인 지구물리학 데이터셋을 사용한 실습 기반 코딩 가이드북을 제공한다.
• 저데이터 환경에서의 데이터 요구량을 줄이기 위해 전이 학습 및 자기지도 학습을 강조한다.
• 지구물리학적 딥 러닝에서 하이퍼파rameter 튜닝, 데이터 증강 및 모델 평가의 최선의 실천 방법을 요약한다.

실험 결과

연구 질문

• RQ1 사전 학습 기반 기법은 기존의 모델 기반 기법에 비해 지구물리학적 신호의 표현 및 처리에 어떻게 향상시킬 수 있는가?
• RQ2 딥 러닝을 지구물리학적 데이터에 적용할 때 발생하는 주요 과제는 무엇이며, 데이터 기반 전략을 통해 어떻게 완화할 수 있는가?
• RQ3 비지도 학습 및 자기지도 학습은 지구물리학적 응용 분야에서 큰 레이블링 데이터셋에 의존하는 것을 어떻게 줄일 수 있는가?
• RQ4 전이 학습과 다중모odal 학습은 데이터가 부족한 지구물리학 분야에서 성능을 어떻게 향상시킬 수 있는가?
• RQ5 딥 지구물리학 모델에서 불확실성 추정과 능동 학습을 위한 가장 효과적인 접근 방식은 무엇인가?

주요 결과

• 특히 딥 러닝을 포함한 데이터 기반 기법은 지반 데이터 처리 및 역문제 해결 작업의 정확성과 효율성을 크게 향상시킨다.
• 사전 학습 기반 기법은 지구물리학적 신호의 효과적인 희박한 표현을 가능하게 하여 노이즈 제거 및 특징 강화를 이끈다.
• 전이 학습은 큰 레이블링 데이터셋이 필요 없게 하여 저데이터 지구물리학 시나리오에서 일반화 성능을 향상시킨다.
• 자기지도 학습 및 비지도 사전 학습 전략은 지구물리학에서 딥 러닝 모델의 초기화 잠재력을 강력하게 보여준다.
• 딥 러닝 모델에 불확실성 추정을 통합함으로써 지구물리학적 의사결정의 신뢰성과 해석 가능성은 향상된다.
• 제공된 코딩 가이드북을 통해 지구과학자들은 오픈소스 도구를 사용해 딥 러닝 파이프라인을 신속하게 구현하고 실험할 수 있다.