[论文解读] An effective self-supervised learning method for various seismic noise attenuation

Shijun Cheng, Zhiyao Cheng+3 more|arXiv (Cornell University)|Nov 3, 2023

Seismic Imaging and Inversion Techniques被引用 4

一句话总结

本文提出一种自监督学习方法，用于地震噪声压制，采用两阶段训练策略——通过合成噪声增强进行预热训练，以及迭代数据精炼（IDR）——在无需干净标签的情况下对真实野外数据进行去噪。该方法在真实野外数据上相比监督学习基线模型表现更优，尤其在高噪声条件下，通过伪标签和迭代噪声注入逐步缩小噪声与干净数据分布之间的域差距，实现性能提升。

ABSTRACT

Faced with the scarcity of clean label data in real scenarios, seismic denoising methods based on supervised learning (SL) often encounter performance limitations. Specifically, when a model trained on synthetic data is directly applied to field data, its performance would drastically decline due to significant differences in feature distributions between the two. To address this challenge, we develop an effective self-supervised strategy. This strategy, while relying on a single denoising network model, adeptly attenuates various types of seismic noise. The strategy comprises two main phases: 1. The warm-up phase. By using prior knowledge or extracting information from real data, we introduce additional noise to the original noisy data, constructing a noisier data with intensified noise. This data serves as the input, with the original noisy data acting as pseudo-labels. This facilitates rapid pre-training of the network to capture a certain noise characteristics and boosts network stability, setting the stage for the subsequent phase. 2. Iterative data refinement (IDR) phase. During this phase, we use the predictions of the original noisy data from the network trained in the previous epoch as the pseudo-labels. We continue to add noise to the predictions, creating a new noisier-noisy dataset for the current epoch of network training. Through this iterative process, we progressively reduce the discrepancy between the original noisy data and the desired clean data. Ultimately, the network's predictions on the original noisy data become our denoised results. Validations under scenarios with random noise, backscattered noise, and blending noise reveal that our method not only matches the traditional SL techniques on synthetic data but significantly outperforms them on field data.

研究动机与目标

• 解决监督式深度学习模型在真实地震野外数据上因合成数据与真实数据之间存在域偏移而导致的性能下降问题。
• 开发一种自监督学习框架，通过利用网络预测生成的伪标签，消除地震去噪中对干净标签的依赖。
• 提升对真实地震数据中常见噪声类型（如随机噪声、背向散射噪声和混叠噪声）的去噪鲁棒性。
• 通过端到端神经网络训练与迭代精炼，自动化去噪过程，减少对人工调参的依赖。
• 在无法获取或获取成本过高的干净标签数据场景下，实现有效的噪声压制。

提出的方法

• 在预热阶段，向原始噪声地震数据中注入额外噪声，生成更嘈杂的输入，同时将原始噪声数据用作伪标签，用于网络的预训练。
• 网络被训练以将更嘈杂的输入映射到原始噪声数据，从而使其在进入迭代阶段前学习基本噪声特征并实现稳定。
• 在迭代数据精炼（IDR）阶段，使用前一周期网络对原始噪声数据的预测结果作为伪标签。
• 通过向这些预测伪标签中添加噪声，生成新的更嘈杂的噪声数据集，作为下一周期的训练目标。
• 该过程在多个周期内重复进行，逐步缩小更嘈杂噪声数据与理想干净数据之间的分布差距。
• 最终去噪输出为经过完整IDR训练后，网络对原始噪声数据的预测结果，无需真实标签。

实验结果

研究问题

• RQ1 自监督学习方法是否能在无需干净标签数据的情况下，有效对地震数据进行去噪？
• RQ2 与在合成数据上进行监督学习相比，伪标签的迭代精炼在真实野外数据上的泛化能力有何提升？
• RQ3 IDR过程中注入噪声的强度在多大程度上影响最终的去噪性能？
• RQ4 该方法能否在真实地震数据中对多种噪声类型（包括随机噪声、背向散射噪声和混叠噪声）实现良好泛化？
• RQ5 与传统监督学习和曲波变换去噪方法相比，该方法在真实世界地震数据集上的性能表现如何？

主要发现

• 所提出的自监督方法在应用于真实野外地震数据时，显著优于在合成数据上训练的监督学习模型，尤其在高噪声水平下表现更优。
• 该方法在合成数据上也实现了具有竞争力的去噪性能，同时在真实数据上展现出更优的鲁棒性与泛化能力，表明其具备有效的域自适应能力。
• IDR阶段有效缩小了训练数据与理想干净数据之间的分布偏移，使去噪质量在连续周期中逐步提升。
• 该方法的性能对训练过程中注入的噪声水平较为敏感；当注入噪声水平与数据中实际噪声强度匹配时，可获得最佳结果。
• 通过信噪比（SNR）和平均绝对误差（MAE）指标在多种噪声类型下的验证，该方法能有效抑制信号泄漏并保留弱信号。
• 即使噪声难以直接提取，只要利用先验知识或传统去噪技术估计噪声特性以用于噪声注入，该方法依然有效。