[论文解读] Auto-Linear Phenomenon in Subsurface Imaging

Yinan Feng, Yinpeng Chen+4 more|arXiv (Cornell University)|Apr 27, 2023

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用 3

一句话总结

本文提出 SimFWI，一种新颖的框架，通过使用掩码自编码器进行领域无关的自监督学习，将地震数据与速度模型建模解耦，从而简化全波形反演（FWI）。该方法在不同领域间的潜在空间中发现线性关系，使冻结的预训练编码器和解码器可通过可学习的线性映射连接，实现与联合训练相当的性能，参数量减半，并展现出更优的少样本学习与鲁棒性表现。

ABSTRACT

Subsurface imaging involves solving full waveform inversion (FWI) to predict geophysical properties from measurements. This problem can be reframed as an image-to-image translation, with the usual approach being to train an encoder-decoder network using paired data from two domains: geophysical property and measurement. A recent seminal work (InvLINT) demonstrates there is only a linear mapping between the latent spaces of the two domains, and the decoder requires paired data for training. This paper extends this direction by demonstrating that only linear mapping necessitates paired data, while both the encoder and decoder can be learned from their respective domains through self-supervised learning. This unveils an intriguing phenomenon (named Auto-Linear) where the self-learned features of two separate domains are automatically linearly correlated. Compared with existing methods, our Auto-Linear has four advantages: (a) solving both forward and inverse modeling simultaneously, (b) applicable to different subsurface imaging tasks and achieving markedly better results than previous methods, (c)enhanced performance, especially in scenarios with limited paired data and in the presence of noisy data, and (d) strong generalization ability of the trained encoder and decoder.

研究动机与目标

• 为解决基于深度学习的全波形反演（FWI）中模型复杂度过高与泛化能力有限的挑战。
• 探究在孤立领域中进行自监督预训练是否能为 FWI 生成可迁移的表征。
• 通过发现潜在空间中的线性关系，简化地震数据与速度图之间的映射。
• 通过共享编码器、解码器与数据集特定的线性映射，实现在多种 FWI 数据集间的模型复用。
• 提升少样本学习能力，并增强对噪声及真实世界数据分布偏移的鲁棒性。

提出的方法

• 在各自领域内，使用掩码自编码器（MAE）对地震数据编码器与速度图解码器进行无配对监督的预训练。
• 在多个 FWI 数据集上训练模型，通过自监督学习学习领域不变表征。
• 发现不同数据集间地震与速度表征潜在空间之间的线性相关性。
• 冻结预训练的编码器与解码器，并使用配对的地震-速度数据训练一个可学习的线性映射层以连接二者。
• 在同一家族内的多个数据集中共享相同的编码器与解码器，同时为每个数据集学习独立的线性转换器。
• 采用分段线性映射以建模多样化地下结构中的全局关系。

Figure 1: Overview of SimFWI. Compared to the jointly trained encoder-decoder (top), SimFWI (bottom) decouples the encoder and decoder and self-supervised trains them separately in their own domains. Then, a linear converter is learned to connect the frozen, pre-trained encoder and decoder.

实验结果

研究问题

• RQ1 在孤立领域中进行自监督预训练是否能产生在 FWI 中跨领域呈现线性关系的潜在表征？
• RQ2 所发现的线性关系是否能在无需联合训练的情况下，实现地震数据与速度图之间有效且高效的映射？
• RQ3 是否可将相同的预训练编码器与解码器复用于具有不同地下结构的多个 FWI 数据集？
• RQ4 在少样本与噪声数据设置下，所提方法的性能与联合训练模型相比如何？
• RQ5 所学习线性层的奇异值与地下结构复杂度之间是否存在关联？

主要发现

• SimFWI 在性能上与联合训练的 InversionNet 相当，仅使用 12.3M 参数，而 InversionNet 为 24.4M，参数量减少 50%。
• 在配对数据有限的少样本设置下，SimFWI 表现优于 InversionNet，展现出更高的样本效率。
• 模型对地震数据中的大噪声表现出强鲁棒性，保持了速度图重建的高保真度。
• 当在家族间共享线性转换器时，复杂数据集的性能得到提升，因潜在空间覆盖更广；而简单数据集则因分布偏移而性能下降。
• 观察到线性层奇异值与数据集复杂度之间存在相关性，表明潜在空间几何结构反映了地下结构的复杂性。
• 在数据集家族间共享编码器与解码器可提升泛化能力，尤其对复杂地下结构表现更优，同时在真实与噪声数据上保持高性能。

Figure 2: Comparison between our SimFWI and InvLINT Feng et al. ( 2022 ) . The first row shows the similar framework of both methods. The second row indicates how our method trains each component. The third row shows how InvLINT trains each component.