[논문 리뷰] Seismic Foundation Model (SFM): a new generation deep learning model in geophysics

Hanlin Sheng, Xinming Wu외 4명|arXiv (Cornell University)|2023. 09. 06.

Seismic Imaging and Inversion Techniques인용 수 15

한 줄 요약

논문은 Seismic Foundation Model (SFM)을 제시합니다. Transformer 기반의 자기지도 학습 모델로, 2,286,422개의 unlabeled 2-D seismic 이미지를 192개의 글로벌 3-D 설문조사에서 파생하고, 다수의 지구물리학 작업에서의 일반화 가능성을 입증합니다.

ABSTRACT

While computer science has seen remarkable advancements in foundation models, which remain underexplored in geoscience. Addressing this gap, we introduce a workflow to develop geophysical foundation models, including data preparation, model pre-training, and adaption to downstream tasks. From 192 globally collected 3-D seismic volumes, we create a carefully curated dataset of 2,286,422 2-D seismic images. Fully using these unlabeled images, we employ the self-supervised learning to pre-train a Transformer-based Seismic Foundation Model (SFM) for producing all-purpose seismic features that work across various tasks and surveys. Through experiments on seismic facies classification, geobody identification, interpolation, denoising, and inversion, our pre-trained model demonstrates versatility, generalization, scalability, and superior performance over baseline models. Conclusively, we provide a foundation model and vast dataset to advance AI in geophysics, addressing challenges (poor generalization, lacking labels, and repetitive training for task-specified models) of applying AI in geophysics and paving the way for future innovations in geoscience.

연구 동기 및 목표

• 일반화 및 작업 간 재사용을 향상시키기 위한 지구과학 특화 기반 모델의 필요성에 대한 동기 부여.
• 대용량의 비레이블 시 seismic 데이터로의 데이터 수집, 전처리, 자기지도 학습 프리트레이닝 워크플로우 개발.
• 미리 학습된 모델의 분류, 분할, 역산, 잡음 제거, 보간 등 다수의 지구물리학 작업에 대한 다운스트림 적용 가능성 시연.
• 공정한 평가를 위해 다양한 모델과 설문조사에서 사용할 수 있는 공개 데이터 세트와 프리트레이닝 파이프라인 제공

제안 방법

• 전 세계에서 수집된 192개의 3-D 시 seismic 데이터셋을 사용하여 2,286,422개의 라벨링에 준하는 2-D 시 seismic 슬라이스의 학습 세트를 생성합니다.
• Masked Autoencoder (MAE) 프레임워크를 활용한 생성적 자기지도 학습 목표를 채택합니다.
• 글로벌 컨텍스트 모델링과 일반화를 위한 Transformer 기반 아키텍처를 선택하고, Encoder를 Seismic Foundation Model (SFM)로 프리트레인합니다.
• 레이블 부재와 대규모 비표본 시 데이터의 활용 필요성으로 인해 비지도 프리트레이닝으로 운영합니다.
• 다운스트림에서 프리트레인된 인코더를 고정시키거나 미세조정하고, 페이시스 분류, 지바디 분할, 반사율 역산, 잡음 제거 및 보간과 같은 작업을 위해 경량 디코더를 부착합니다.

실험 결과

연구 질문

• RQ1 자기지도 학습으로 학습된 지구물리 특화 기반 모델이 여러 작업과 설문조사에서 전이 가능한 시 seismic 특징을 학습할 수 있나요?
• RQ2 SFM은 시 페이시스 분류, 지바디 식별, 역산, 잡음 제거 및 보간에서 특정 작업 또는 Scratch로 학습된 Transformer 모델에 비해 어떤 성능을 보이나요?
• RQ3 다양하고 비레이블 글로벌 시 seismic 데이터셋에서의 프리트레이닝이 데이터셋과 해상도 간 일반화 및 확장성을 개선하나요?
• RQ4 다운스트림 작업에서 인코더를 미세조정하는 것과 고정시키는 것의 영향은 무엇인가요?
• RQ5 합성 데이터 통합이 역산 성능과 현실감을 향상시키나요?

주요 결과

• SFM-512, SFM-Frozen, 및 SFM-Fine-tune이 시 페이시스 분류 및 지바디 식별에서 작업 특화 기준선(Unet, Deeplab, Transformer From Scratch)을 능가합니다.
• 프리트레이닝된 모델은 평가 슬라이스가 학습 데이터에서 더 멀리 떨어질수록 일반화가 강하게 나타나며 외삽 능력이 향상됩니다.
• 역산 및 잡음 제거 작업은 Transformer 기반 SFM이 캡처한 글로벌 컨텍스트의 이점을 누리며 ESFM 변형에서 더 높은 MS-SSIM 및 PSNR 지표와 더 연속적인 반사도 및 잡음 제거 출력이 나타납니다.
• 보간 결과는 SFM 변형이 Unet 또는 Transformer From Scratch보다 구조적 연속성을 더 잘 유지하고 더 높은 PSNR과 더 낮은 MSE를 보입니다.
• 본 연구는 다양한 설문조사에서 지구물리 기반 모델의 공정한 비교와 평가를 가능하게 하는 확장 가능한 워크플로우와 대규모의 다양한 시 seismic 데이터세트를 제공합니다.