[논문 리뷰] Auto-Linear Phenomenon in Subsurface Imaging

Yinan Feng, Yinpeng Chen외 4명|arXiv (Cornell University)|2023. 04. 27.

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 마스크된 오토인코더를 사용한 도메인 독립적 자기지도 학습을 통해 지반 데이터와 속도 지도 모델링을 분리함으로써 전파역산( FWI)을 단순화하는 새로운 프레임워크인 SimFWI를 제안한다. 다양한 도메인 간 잠재공간에서 선형 관계를 발견하여, 고정된 사전 훈련된 인코더와 디코더를 학습 가능한 선형 매핑으로 연결함으로써, 모델 크기가 절반 이하이면서도 공동 훈련 수준의 성능을 달성하며, 소수의 샘플 및 노이즈에 대한 강건성도 뛰어나다.

ABSTRACT

Subsurface imaging involves solving full waveform inversion (FWI) to predict geophysical properties from measurements. This problem can be reframed as an image-to-image translation, with the usual approach being to train an encoder-decoder network using paired data from two domains: geophysical property and measurement. A recent seminal work (InvLINT) demonstrates there is only a linear mapping between the latent spaces of the two domains, and the decoder requires paired data for training. This paper extends this direction by demonstrating that only linear mapping necessitates paired data, while both the encoder and decoder can be learned from their respective domains through self-supervised learning. This unveils an intriguing phenomenon (named Auto-Linear) where the self-learned features of two separate domains are automatically linearly correlated. Compared with existing methods, our Auto-Linear has four advantages: (a) solving both forward and inverse modeling simultaneously, (b) applicable to different subsurface imaging tasks and achieving markedly better results than previous methods, (c)enhanced performance, especially in scenarios with limited paired data and in the presence of noisy data, and (d) strong generalization ability of the trained encoder and decoder.

연구 동기 및 목표

• 딥 러닝 기반 전파역산(FWI)에서의 높은 모델 복잡성과 제한된 일반화 능력 문제를 해결하기 위해.
• 고립된 도메인에서 자기지도 사전 훈련이 FWI에 대해 이전에 전이 가능한 표현을 제공할 수 있는지 조사하기 위해.
• 잠재공간에서의 선형 관계를 발견하여 지반 데이터와 속도 지도 간의 매핑을 단순화하기 위해.
• 공통 인코더, 디코더 및 데이터셋 전용 선형 매핑을 통해 다양한 FWI 데이터셋 간의 모델 재사용을 가능하게 하기 위해.
• 지하 이미징에서 소수의 샘플 학습 및 노이즈와 실제 데이터 분포의 변화에 대한 강건성을 향상시키기 위해.

제안 방법

• 쌍화된 지도 없이, 각각의 도메인에서 마스크된 오토인코더(MAE)를 사용해 지반 데이터 인코더와 속도 지도 디코더를 사전 훈련한다.
• 다양한 FWI 데이터셋에서 훈련하여 자기지도 학습을 통해 도메인 불변 표현을 학습한다.
• 다양한 데이터셋 간에 지반 및 속도 표현의 잠재공간 간 선형 상관관계를 발견한다.
• 사전 훈련된 인코더와 디코더를 고정하고, 쌍화된 지반-속도 데이터를 사용해 학습 가능한 선형 매핑 레이어를 연결한다.
• 가족 내 여러 데이터셋 간에 동일한 인코더와 디코더를 공유하면서, 각 데이터셋에 대해 고유한 선형 변환기만 학습한다.
• 다양한 지하 구조를 포괄하는 전역 관계를 모델링하기 위해 조각별 선형 매핑을 사용한다.

Figure 1: Overview of SimFWI. Compared to the jointly trained encoder-decoder (top), SimFWI (bottom) decouples the encoder and decoder and self-supervised trains them separately in their own domains. Then, a linear converter is learned to connect the frozen, pre-trained encoder and decoder.

실험 결과

연구 질문

• RQ1 고립된 도메인에서 자기지도 사전 훈련이 FWI에서 다양한 도메인 간에 잠재 표현 간 선형 관계를 나타내는가?
• RQ2 발견된 선형 관계가 공동 훈련 없이도 지반 데이터와 속도 지도 간 효과적이고 효율적인 매핑을 가능하게 하는가?
• RQ3 동일한 사전 훈련된 인코더와 디코더를 다양한 지하 구조를 가진 여러 FWI 데이터셋 간에 공유할 수 있는가?
• RQ4 소수의 샘플 및 노이즈가 많은 데이터 설정에서 제안된 방법의 성능이 공동 훈련 모델과 비교해 어떻게 되는가?
• RQ5 학습된 선형 레이어의 특이값과 지하 구조 복잡성 간의 관계는 무엇인가?

주요 결과

• SimFWI는 InversionNet의 24.4M 파라미터 대비 12.3M 파라미터로, 공동 훈련 모델과 유사한 성능을 달성하여 모델 크기를 50% 감소시켰다.
• 제한된 쌍화된 데이터가 있는 소수 샘플 설정에서 SimFWI는 InversionNet을 능가하며, 더 높은 샘플 효율성을 보였다.
• 지반 데이터의 큰 노이즈에 대해서도 높은 정밀도를 유지하며 속도 지도 복원 성능을 유지도했다.
• 가족 간 선형 변환기 공유 시, 더 넓은 잠재공간 커버리지 덕분에 복잡한 데이터셋에서 성능 향상이 있었고, 단순한 데이터셋은 분포 이탈로 약간의 성능 저하를 보였다.
• 선형 레이어의 특이값과 데이터셋 복잡성 간 상관관계가 관찰되어, 잠재공간 기하학이 지하 구조 복잡성 반영함을 시사했다.
• 데이터셋 가족 간 인코더와 디코더 공유가 일반화를 향상시켰으며, 특히 복잡한 지하 구조에서 뛰어난 성능 유지를 유지했고, 현실적이고 노이즈 많은 데이터에서도 높은 성능 유지를 보였다.

Figure 2: Comparison between our SimFWI and InvLINT Feng et al. ( 2022 ) . The first row shows the similar framework of both methods. The second row indicates how our method trains each component. The third row shows how InvLINT trains each component.