[논문 리뷰] An effective self-supervised learning method for various seismic noise attenuation

Shijun Cheng, Zhiyao Cheng외 3명|arXiv (Cornell University)|2023. 11. 03.

Seismic Imaging and Inversion Techniques인용 수 4

한 줄 요약

이 논문은 정제된 레이블이 필요 없이 실제 현장 데이터를 정제하기 위해 이중 단계 학습 전략—합성 노이즈 증강을 통한 워밍업 및 반복적 데이터 정제(IDR)—을 사용하는 자기지도 학습 방법을 제안한다. 이 방법은 가짜 레이블과 반복적 노이즈 주입을 통해 노이즈가 많은 데이터와 청소된 데이터의 분포 간 도메인 갭을 점진적으로 줄여, 특히 고노이즈 조건에서 보다 뛰어난 성능을 내며 실제 현장 데이터에서 보다 우수한 성능을 달성한다.

ABSTRACT

Faced with the scarcity of clean label data in real scenarios, seismic denoising methods based on supervised learning (SL) often encounter performance limitations. Specifically, when a model trained on synthetic data is directly applied to field data, its performance would drastically decline due to significant differences in feature distributions between the two. To address this challenge, we develop an effective self-supervised strategy. This strategy, while relying on a single denoising network model, adeptly attenuates various types of seismic noise. The strategy comprises two main phases: 1. The warm-up phase. By using prior knowledge or extracting information from real data, we introduce additional noise to the original noisy data, constructing a noisier data with intensified noise. This data serves as the input, with the original noisy data acting as pseudo-labels. This facilitates rapid pre-training of the network to capture a certain noise characteristics and boosts network stability, setting the stage for the subsequent phase. 2. Iterative data refinement (IDR) phase. During this phase, we use the predictions of the original noisy data from the network trained in the previous epoch as the pseudo-labels. We continue to add noise to the predictions, creating a new noisier-noisy dataset for the current epoch of network training. Through this iterative process, we progressively reduce the discrepancy between the original noisy data and the desired clean data. Ultimately, the network's predictions on the original noisy data become our denoised results. Validations under scenarios with random noise, backscattered noise, and blending noise reveal that our method not only matches the traditional SL techniques on synthetic data but significantly outperforms them on field data.

연구 동기 및 목표

• 합성 데이터와 실제 데이터 간의 도메인 시프트로 인해 감소하는 지도 학습 기반 딥 러닝 모델의 성능 문제를 해결하기 위해.
• 네트워크 예측에서 유도된 가짜 레이블을 활용하여 정제된 레이블이 필요 없는 지반 노이즈 제거를 위한 자기지도 학습 프레임워크를 개발하기 위해.
• 실제 지반 데이터에서 흔히 발생하는 랜덤, 백스캐터링, 블렌딩 노이즈 등의 다양한 노이즈 유형에 대한 노이즈 제거의 강건성을 향상시키기 위해.
• 전문가가 수작업으로 조정한 파rameter에 의존하는 것을 최소화하기 위해, 반복적 정제를 통한 엔드 투 엔드 신경망 학습을 통해 노이즈 제거 과정을 자동화하기 위해.
• 정제된 레이블 데이터가 확보되지 않거나 확보하는 데 비용이 너무 많이 들기 때문에, 레이블이 없는 상황에서도 효과적인 노이즈 제거를 가능하게 하기 위해.

제안 방법

• 워밍업 단계에서 원본 노이즈가 있는 지반 데이터에 추가로 노이즈를 주입하여 더 노이즈가 많은 입력 데이터를 생성하고, 원본 노이즈 데이터를 가짜 레이블로 사용하여 네트워크를 사전 학습한다.
• 네트워크는 더 노이즈가 많은 입력 데이터를 원본 노이즈 데이터로 매핑하도록 학습되며, 이는 노이즈의 기본 특성을 학습하고 반복 단계에 진입하기 전에 안정화시키는 데 기여한다.
• 반복적 데이터 정제(IDR) 단계에서는 이전 에포크에서 네트워크가 원본 노이즈 데이터에 대해 예측한 결과를 가짜 레이블로 사용한다.
• 이 예측 레이블에 노이즈를 추가하여 더 노이즈가 많은 노이즈 데이터셋을 신규로 생성하고, 이를 다음 에포크의 학습 타겟으로 삼는다.
• 이 과정은 다수의 에포크에 걸쳐 반복되며, 점차로 더 노이즈가 많은 데이터와 이상적인 청소된 데이터 간의 분포 갭을 줄인다.
• 최종적으로 정제된 출력은 IDR 전체 학습이 완료된 후 원본 노이즈 데이터에 대한 네트워크의 예측 결과이며, 지도 학습에서 요구하는 진짜 레이블이 필요 없다.

실험 결과

연구 질문

• RQ1 정제된 레이블이 없는 조건에서 자기지도 학습 접근법이 지반 데이터의 노이즈 제거에 효과적으로 작용할 수 있는가?
• RQ2 가짜 레이블의 반복적 정제가 합성 데이터에서의 지도 학습에 비해 실제 현장 데이터에서의 일반화 성능을 어떻게 향상시키는가?
• RQ3 IDR 과정에서 주입하는 노이즈 수준이 최종 노이즈 제거 성능에 미치는 영향은 어느 정도인가?
• RQ4 이 방법은 실제 지반 데이터에서 흔히 발생하는 랜덤, 백스캐터링, 블렌딩 노이즈 등 다양한 노이즈 유형에 대해 일반화 가능한가?
• RQ5 기존의 지도 학습 및 커브렛 기반 노이즈 제거 방법과 비교했을 때, 이 방법의 성능은 어떻게 되는가?

주요 결과

• 제안된 자기지도 학습 방법은 실제 현장 지반 데이터에 적용했을 때, 합성 데이터에서 학습된 지도 학습 모델보다 뛰어난 성능을 보이며, 특히 고노이즈 조건에서 두드러진 성능 향상을 보였다.
• 이 방법은 합성 데이터에 대해서는 경쟁적인 노이즈 제거 성능를 달성하면서도, 실제 데이터에 대해서는 뛰어난 강건성과 일반화 능력을 보여, 효과적인 도메인 적응이 이루어졌음을 시사한다.
• IDR 단계는 학습 데이터와 이상적인 청소된 데이터 간의 분포 시프트를 효과적으로 줄여주며, 이로 인해 반복적 에포크를 거치면서 점차 노이즈 제거 품질이 향상된다.
• 이 방법의 성능는 학습 중에 주입된 노이즈 수준에 민감하게 영향을 받는다. 최적의 성능는 실제 데이터의 노이즈 강도와 일치하는 노이즈 수준을 주입했을 때 달성된다.
• SNR 및 MAE 지표를 통해 다양한 노이즈 유형에서의 신호 누출 최소화와 약한 신호의 유지가 검증되었으며, 이는 강력한 신호 보존 능력을 의미한다.
• 노이즈가 쉽게 추출되지 않는 경우에도, 사전 지식이나 전통적인 노이즈 제거 기법을 활용해 노이즈 특성을 추정하여 노이즈 주입을 수행할 수 있다면, 이 방법은 여전히 효과를 발휘한다.