[論文レビュー] Seismic Foundation Model (SFM): a new generation deep learning model in geophysics

Hanlin Sheng, Xinming Wu+4 more|arXiv (Cornell University)|Sep 6, 2023

Seismic Imaging and Inversion Techniques被引用数 15

ひとこと要約

本論文は Seismic Foundation Model (SFM) を紹介する。Transformer ベースの自己教師付きモデルで、192 global 3-D 調査から得られた 2,286,422 の ラベルなしの 2-D 地震画像を用いて事前学習され、複数の地球物理タスクにまたがる一般化を実証する。

ABSTRACT

While computer science has seen remarkable advancements in foundation models, which remain underexplored in geoscience. Addressing this gap, we introduce a workflow to develop geophysical foundation models, including data preparation, model pre-training, and adaption to downstream tasks. From 192 globally collected 3-D seismic volumes, we create a carefully curated dataset of 2,286,422 2-D seismic images. Fully using these unlabeled images, we employ the self-supervised learning to pre-train a Transformer-based Seismic Foundation Model (SFM) for producing all-purpose seismic features that work across various tasks and surveys. Through experiments on seismic facies classification, geobody identification, interpolation, denoising, and inversion, our pre-trained model demonstrates versatility, generalization, scalability, and superior performance over baseline models. Conclusively, we provide a foundation model and vast dataset to advance AI in geophysics, addressing challenges (poor generalization, lacking labels, and repetitive training for task-specified models) of applying AI in geophysics and paving the way for future innovations in geoscience.

研究の動機と目的

• 一般化とタスク間の再利用性を高めるため、地球科学専用のファウンデーションモデルの必要性を動機づける。
• 大規模なラベルなし地震データセットに対するデータ収集、前処理、および自己教師付き事前学習のワークフローを開発する。
• 事前学習済みモデルを、分類、セグメンテーション、反演、デノイズ、補間など、複数の地球物理タスクへ適用可能性を示す。
• モデルと調査間で公正な評価を促進するための公開データセットと事前学習パイプラインを提供する。

提案手法

• 192 件のグローバルに収集された 3-D 地震データセットを用いて、訓練用のラベル風な 2-D 地震スライス 2,286,422 を作成する。
• Masked Autoencoder (MAE) フレームワークを用いた生成的自己教師付き学習目的を採用する。
• グローバル文脈のモデリングと一般化のために Transformer ベースのアーキテクチャを選択し、Encoder を Seismic Foundation Model (SFM) として事前訓練する。
• ラベルが欠如していることと大規模なラベルなし地震データを活用する必要性のため、教師なし事前学習で運用する。
• 下流タスクでは、事前訓練済みエンコーダを固定するか微調整し、ファシーズ分類、ジオボディセグメンテーション、反射率反演、デノイズ、補間などのタスクに対して軽量デコーダを接続する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習で訓練された地球物理学専用のファウンデーションモデルは、複数のタスクや調査にわたって転用可能な地震特徴を学習できるのだろうか？
• RQ2 SFM は、地震ファシーズ分類、ジオボディ同定、反演、デノイズ、補間において、タスク固有モデルやゼロ-shot から訓練された Transformer モデルと比べてどのように性能を発揮するか？
• RQ3 多様でラベルなしのグローバル地震データセットでの事前学習は、データセットと分解能を超えた一般化とスケーラビリティを向上させるか？
• RQ4 下流タスクにおけるエンコーダのファインチューニングと固定の影響はどの程度か？
• RQ5 合成データの統合は反演の性能と現実感を高めることができるか？

主な発見

• SFM-512、SFM-Frozen、SFM-Fine-tune は、地震ファシーズ分類およびジオボディ同定において、タスク固有のベースライン（Unet、Deeplab、Transformer From Scratch）を上回る。
• 事前訓練済みモデルは、評価スライスが学習データから遠くへ移動するほど一般化が強く、外挿能力の向上を示す。
• 反演とデノイズタスクは、Transformer ベースの SFM が捉えるグローバル文脈の恩恵を受け、ESFM 変種は MS-SSIM と PSNR 指標が高く、連続的な反射率とデノイズ出力をもたらす。
• 補間結果は、SFM の変種が Unet や Transformer From Scratch より構造的連続性をより良く保持し、PSNR が高く MSE が低いことを示す。
• 本研究は、複数の調査にわたる地球物理ファウンデーションモデルの公正な比較と評価を可能にする、スケーラブルなワークフローと大規模で多様な地震データセットを提供する。