[論文レビュー] Auto-Linear Phenomenon in Subsurface Imaging

Yinan Feng, Yinpeng Chen+4 more|arXiv (Cornell University)|Apr 27, 2023

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用数 3

ひとこと要約

本稿では、マスク化オートエンコーダーを用いたドメインに依存しない自己教師あり学習により、地震データと速度マップのモデリングを分離することで、フル波形反転（FWI）を簡素化する新規フレームワーク、SimFWIを提案する。異なるドメイン間で潜在空間に線形関係が存在することを発見し、事前学習済みの固定エンコーダーとデコーダーを学習可能な線形マッピングで接続することで、モデルサイズを半減させつつ、共同学習と同等の性能を達成するとともに、少サンプル学習およびノイズ耐性性能が優れている。

ABSTRACT

Subsurface imaging involves solving full waveform inversion (FWI) to predict geophysical properties from measurements. This problem can be reframed as an image-to-image translation, with the usual approach being to train an encoder-decoder network using paired data from two domains: geophysical property and measurement. A recent seminal work (InvLINT) demonstrates there is only a linear mapping between the latent spaces of the two domains, and the decoder requires paired data for training. This paper extends this direction by demonstrating that only linear mapping necessitates paired data, while both the encoder and decoder can be learned from their respective domains through self-supervised learning. This unveils an intriguing phenomenon (named Auto-Linear) where the self-learned features of two separate domains are automatically linearly correlated. Compared with existing methods, our Auto-Linear has four advantages: (a) solving both forward and inverse modeling simultaneously, (b) applicable to different subsurface imaging tasks and achieving markedly better results than previous methods, (c)enhanced performance, especially in scenarios with limited paired data and in the presence of noisy data, and (d) strong generalization ability of the trained encoder and decoder.

研究の動機と目的

• 深層学習ベースのフル波形反転（FWI）における高いモデル複雑性と一般化性能の限界を解決すること。
• 分離されたドメインで自己教師あり事前学習を実施した場合、FWIに転送可能な表現が得られるかどうかを調査すること。
• 潜在空間における線形関係を同定することで、地震データと速度マップの間のマッピングを簡素化すること。
• 共通のエンコーダー、デコーダー、およびデータセット固有の線形マッピングを用いて、複数のFWIデータセット間でのモデル再利用を可能にすること。
• 少サンプル学習およびノイズや現実世界のデータ分布シフトに対する耐性を向上させること。

提案手法

• ペairedな教師信号なしに、それぞれのドメインでマスク化オートエンコーダー（MAE）を用いて地震データエンコーダーと速度マップデコーダーを事前学習する。
• 複数のFWIデータセットで学習を行い、自己教師あり学習によりドメイン不変表現を学習する。
• 異なるデータセット間で、地震および速度表現の潜在空間間に線形相関が存在することを発見する。
• 事前学習済みのエンコーダーとデコーダーを固定し、ペアドされた地震-速度データを用いて、学習可能な線形マッピング層を介して接続する。
• 同じエンコーダーとデコーダーを、家族として分類される複数のデータセット間で共有し、各データセットごとに固有の線形変換器を学習する。
• 分(piecewise)線形マッピングを用いて、多様な地下構造にわたるグローバルな関係をモデル化する。

Figure 1: Overview of SimFWI. Compared to the jointly trained encoder-decoder (top), SimFWI (bottom) decouples the encoder and decoder and self-supervised trains them separately in their own domains. Then, a linear converter is learned to connect the frozen, pre-trained encoder and decoder.

実験結果

リサーチクエスチョン

• RQ1 分離されたドメインで自己教師あり事前学習を実施した場合、FWIにおいて異なるドメイン間で潜在表現に線形関係が現れるか？
• RQ2 同定された線形関係により、共同学習なしに効果的かつ効率的な地震データと速度マップ間のマッピングが可能になるか？
• RQ3 同じ事前学習済みエンコーダーとデコーダーを、異なる地下構造を持つ複数のFWIデータセット間で共有可能か？
• RQ4 本手法の性能は、少サンプルおよびノイズが多いデータ環境下で、共同学習モデルと比較してどのように異なるか？
• RQ5 学習された線形層の特異値と地下構造の複雑さの間にどのような関係があるか？

主な発見

• SimFWIは、24.4Mパラメータを有するInversionNetと同等の性能を達成しており、モデルサイズは12.3Mパラメータにまで半減しており、50%の削減を実現した。
• 限られたペアドデータでの少サンプル設定において、SimFWIはInversionNetを上回り、より優れたサンプル効率を示した。
• 地震データに大きなノイズが存在する状況でも、速度マップ再構成の高精度を維持する強力な耐性を示した。
• 複雑なデータセットでは、家族間で線形変換器を共有することで、潜在空間のカバー範囲が広がり、性能が向上したが、単純なデータセットでは分布シフトの影響を受ける傾向にあった。
• 線形層の特異値とデータセットの複雑さの間に相関が観察され、潜在空間の幾何構造が地下構造の複雑さを反映している可能性が示唆された。
• データセットの家族間でエンコーダーとデコーダーを共有することで、一般化性能が向上し、特に複雑な地下構造に対して優れた性能を発揮した。また、現実的でノイズの多いデータに対しても高い性能を維持した。

Figure 2: Comparison between our SimFWI and InvLINT Feng et al. ( 2022 ) . The first row shows the similar framework of both methods. The second row indicates how our method trains each component. The third row shows how InvLINT trains each component.