[論文レビュー] An effective self-supervised learning method for various seismic noise attenuation

Shijun Cheng, Zhiyao Cheng+3 more|arXiv (Cornell University)|Nov 3, 2023

Seismic Imaging and Inversion Techniques被引用数 4

ひとこと要約

本論文では、合成ノイズ拡張と反復的データ精錬（IDR）を用いた二段階訓練戦略により、クリーンラベルを必要とせずに実現する自己教師あり学習手法を提案する。この手法は、ノイズとクリーンデータの分布のズレを段階的に縮小することで、特に高ノイズ条件下でも教師あり学習のベースラインを上回る性能を実現する。

ABSTRACT

Faced with the scarcity of clean label data in real scenarios, seismic denoising methods based on supervised learning (SL) often encounter performance limitations. Specifically, when a model trained on synthetic data is directly applied to field data, its performance would drastically decline due to significant differences in feature distributions between the two. To address this challenge, we develop an effective self-supervised strategy. This strategy, while relying on a single denoising network model, adeptly attenuates various types of seismic noise. The strategy comprises two main phases: 1. The warm-up phase. By using prior knowledge or extracting information from real data, we introduce additional noise to the original noisy data, constructing a noisier data with intensified noise. This data serves as the input, with the original noisy data acting as pseudo-labels. This facilitates rapid pre-training of the network to capture a certain noise characteristics and boosts network stability, setting the stage for the subsequent phase. 2. Iterative data refinement (IDR) phase. During this phase, we use the predictions of the original noisy data from the network trained in the previous epoch as the pseudo-labels. We continue to add noise to the predictions, creating a new noisier-noisy dataset for the current epoch of network training. Through this iterative process, we progressively reduce the discrepancy between the original noisy data and the desired clean data. Ultimately, the network's predictions on the original noisy data become our denoised results. Validations under scenarios with random noise, backscattered noise, and blending noise reveal that our method not only matches the traditional SL techniques on synthetic data but significantly outperforms them on field data.

研究の動機と目的

• 合成データと実データの間のドメインシフトにより、教師あり深層学習モデルが実地震フィールドデータで性能を発揮できない問題に対処すること。
• ネットワークの予測から得られる偽ラベルを活用することで、クリーンラベルが不要な自己教師あり学習フレームワークを構築すること。
• 実世界の地震データに一般的に見られるランダムノイズ、バックスキャッターノイズ、ブレンドインノイズなど、多様なノイズタイプに対して耐性を高めること。
• エキスパートが調整するパrameterに依存しないように、エンドツーエンドのニューラルネットワーク学習と反復的精錬により、ノイズ低減プロセスを自動化すること。
• ラベル付きクリーンデータが入手不可能または極めて高価な状況においても、効果的なノイズ低減を可能にすること。

提案手法

• ウォームアップ段階では、元のノイズを含む地震データに追加のノイズを注入し、「よりノイジーな」入力を生成する。元のノイズを含むデータは、ネットワークの事前学習のための偽ラベルとして使用される。
• ネットワークは、よりノイジーな入力を元のノイズを含むデータにマッピングするように学習され、ノイズの基本的特性を学習し、反復段階に移行する前の安定化を図る。
• 反復的データ精錬（IDR）段階では、前エポックのネットワーク予測結果を元のノイズを含むデータに対して用い、偽ラベルとして利用する。
• これらの予測ラベルにノイズを追加することで、新たな「よりノイジーなノイズ」データセットが生成され、次のエポックの学習ターゲットとして用いられる。
• このプロセスは複数エポックにわたり繰り返され、徐々に「よりノイジーなノイズ」データと理想のクリーンデータの分布的ズレが縮小される。
• 最終的なノイズ除去出力は、IDR訓練が終了した後、元のノイズを含むデータに対するネットワークの予測結果であり、真のラベルは一切不要である。

実験結果

リサーチクエスチョン

• RQ1 クリーンラベルが不要な自己教師あり学習アプローチが、実際の地震フィールドデータに対して効果的にノイズ除去を実現できるか。
• RQ2 反復的精錬による偽ラベルの改善が、合成データで教師あり学習を行う場合と比較して、実フィールドデータにおける一般化性能をどのように向上させるか。
• RQ3 IDRプロセスにおけるノイズの注入レベルが、最終的なノイズ除去性能にどの程度影響を与えるか。
• RQ4 本手法が、実地震データに一般的に見られるランダムノイズ、バックスキャッターノイズ、ブレンドインノイズなど多様なノイズタイプに一般化可能か。
• RQ5 本手法は、実世界の地震データセットにおいて、従来の教師あり学習およびカーブレットベースのノイズ低減法と比較して、どの程度の性能を示すか。

主な発見

• 提案手法は、特に高ノイズ条件下において、合成データで学習した教師あり学習モデルよりも、実フィールド地震データに対して顕著に優れた性能を発揮する。
• 本手法は合成データに対しても競争力あるノイズ低減性能を示す一方で、実データでは優れた耐性と一般化性能を示しており、有効なドメイン適応が実現されている。
• IDR段階は、訓練データと望ましいクリーンデータの間の分布的ズレを効果的に低減し、エポックが進むごとにノイズ除去品質が向上する。
• 本手法の性能は、訓練中に注入されるノイズレベルに敏感である。最適な結果は、注入ノイズレベルが実際のデータのノイズ強度と一致する場合に得られる。
• SNRおよびMAE指標を用いた検証により、信号漏れが最小限に抑えられ、弱い信号の保持が図られていることが確認された。
• ノイズが容易に抽出できない状況においても、事前知識や従来のノイズ低減手法を用いてノイズ特性を推定することで、本手法は依然として有効である。