[論文レビュー] Stacked autoencoders based machine learning for noise reduction and signal reconstruction in geophysical data

Debjani Bhowick, Deepak Gupta+2 more|arXiv (Cornell University)|Jul 7, 2019

Seismic Imaging and Inversion Techniques参考文献 59被引用数 10

ひとこと要約

本稿では、汚染された入力から非線形な低次元表現を学習する深層ニューラルネットワークを用いて、地球物理データにおけるノイズ低減および信号再構成のためのスタックドノイズ除去オートエナボーダー枠組みを提案する。合成例では90%以上のノイズ低減が達成され、SP異常データでは最大80%のノイズ低減が得られ、地震データおよびウェルログデータでも優れた性能を示し、地球物理学におけるデータ駆動型ノイズ除去ツールとしての有効性を実証している。

ABSTRACT

Autoencoders are neural network formulations where the input and output of the network are identical and the goal is to identify the hidden representation in the provided datasets. Generally, autoencoders project the data nonlinearly onto a lower dimensional hidden space, where the important features get highlighted and interpretation of the data becomes easier. Recent studies have shown that even in the presence of noise in the input data, autoencoders can be trained to reconstruct the noisefree component of the data from the reduced-dimensional hidden space. In this paper, we explore the application of autoencoders within the scope of denoising geophysical datasets using a data-driven methodology. The autoencoder formulation is discussed, and a stacked variant of deep autoencoders is proposed. The proposed method involves locally training the weights first using basic autoencoders, each comprising a single hidden layer. Using these initialized weights as starting points in the optimization model, the full autoencoder network is then trained in the second step. The applicability of denoising autoencoders has been demonstrated on a basic mathematical example and several geophysical examples. For all the cases, autoencoders are found to significantly reduce the noise in the input data.

研究の動機と目的

• 物理的前方モデルに依存せずに、地球物理信号のノイズ低減および再構成を目的としたデータ駆動型機械学習手法の開発。
• 地球物理探査で一般的に見られる地震、ウェルログ、SP（自己電位）データセットにおけるノイズ汚染および欠損データの課題に対処すること。
• 深層オートエナボーダーを用いて、複雑な地球物理データの強固な非線形低次元表現を学習することで、信号の解釈性を向上させること。
• 高いノイズレベルと欠損トレースを伴う実世界の地球物理データを処理するためのスタックドオートエナボーダーの実用可能性を検討すること。
• さまざまなノイズ条件下で、合成および実データ例を含む多様な地球物理データタイプに対する提案手法の性能を評価すること。

提案手法

• まず1層の隠れ層を持つ浅いオートエナボーダーを個別に事前学習し、次にそれらをスタックして深層スタックドオートエナボーダーを構築する2段階の学習プロセスを採用する。
• 訓練中に入力データを汚染（例：ランダムノイズの追加）することでノイズ除去オートエナボーダーを実装し、ネットワークがロバストでノイズに強い表現を学習するように強制する。
• 元の信号と再構成信号の間の再構成誤差を最小化するために、平均二乗誤差（MSE）損失関数を用いた誤差逆伝播法を適用する。
• 事前学習済みの浅いオートエナボーダーの重みを、完全な深層ネットワークの初期化に使用することで、収束性と性能の向上を図る。
• データを低次元の潜在空間に射影し、元のドメインに再びデコードすることで、ノイズの多い入力からクリアな信号を再構成するスタックドオートエナボーダーを適用する。
• 各オートエナボーダーを局所的なデータパッチ上で学習させるローカルトレーニング戦略を採用し、地球物理トレースにおける空間的・時間的連続性を保持する。

実験結果

リサーチクエスチョン

• RQ1 スタックドノイズ除去オートエナボーダーは、基礎的な物理モデルの知識がなくても、地球物理信号におけるランダムノイズを効果的に低減できるか？
• RQ2 提案されたオートエナボーダー構造は、地震およびウェルログデータにおける欠損または汚損したトレースをどの程度正確に再構成できるか？
• RQ3 トレーニングデータセットのサイズおよび周波数帯域が、オートエナボーダーの性能にどの程度影響を及えるか？
• RQ4 ノイズしきい値や連続性制約などのハイパーパrameterが、再構成品質に与える影響は何か？
• RQ5 オートエナボーダーは、グローバルな信号解釈に不可欠な低周波成分を保持しつつ、高周波ノイズを除去できるか？

主な発見

• スタックドノイズ除去オートエナボーダーは、基本的な数学的テストケースにおいて90%を超えるノイズ低減を達成し、強力なノイズ除去能力を示した。
• SP異常データでは、適切な前方モデルを用いて学習した場合、約80%のノイズ低減が達成された。
• オートエナボーダーは、地震およびウェルログデータにおける欠損トレースを効果的に再構成し、信号品質と解釈可能性を顕著に向上させた。
• より大きなトレーニングデータセットと広い周波数帯域は、再構成信号の分解能を向上させ、微細な特徴の損失を低減した。
• 改善は見られたが、クリアな領域に不要なノイズが導入される事例も確認され、より洗練された損失関数の開発が求められることが示唆された。
• 合成ウェルデータにおける連続性しきい値の影響が性能に顕著に現れたことから、最適な結果を得るためにはハイパーパrameterチューニングが不可欠であることがわかった。