[論文レビュー] Unsupervised Learning of Full-Waveform Inversion: Connecting CNN and Partial Differential Equation in a Loop

Jin Peng, Xitong Zhang+4 more|arXiv (Cornell University)|Oct 14, 2021

Seismic Imaging and Inversion Techniques参考文献 29被引用数 23

ひとこと要約

本論文は、音響波PDEの微分可能有限差分ベースの前方モデル化と畳み込みニューラルネットワーク（CNN）を統合した教師なし学習フレームワークUPFWIを提案する。この手法は、真の速度マップのラベルを必要とせず、地震データを地下速度マップに逆問題解消する。CNNを微分可能なPDEループを通じて地震データの再構成に訓練することで、教師ありベースラインと同等またはそれ以上の性能を達成し、特に大規模なラベルなしデータセットを用いる場合に顕著である。また、全波形逆問題のためのOpenFWIベンチマークを導入する。

ABSTRACT

This paper investigates unsupervised learning of Full-Waveform Inversion (FWI), which has been widely used in geophysics to estimate subsurface velocity maps from seismic data. This problem is mathematically formulated by a second order partial differential equation (PDE), but is hard to solve. Moreover, acquiring velocity map is extremely expensive, making it impractical to scale up a supervised approach to train the mapping from seismic data to velocity maps with convolutional neural networks (CNN). We address these difficulties by integrating PDE and CNN in a loop, thus shifting the paradigm to unsupervised learning that only requires seismic data. In particular, we use finite difference to approximate the forward modeling of PDE as a differentiable operator (from velocity map to seismic data) and model its inversion by CNN (from seismic data to velocity map). Hence, we transform the supervised inversion task into an unsupervised seismic data reconstruction task. We also introduce a new large-scale dataset OpenFWI, to establish a more challenging benchmark for the community. Experiment results show that our model (using seismic data alone) yields comparable accuracy to the supervised counterpart (using both seismic data and velocity map). Furthermore, it outperforms the supervised model when involving more seismic data.

研究の動機と目的

• 全波形逆問題（FWI）における高い計算コストと真の速度マップの限られた可用性が、教師ありディープラーニング手法の発展を妨えるという課題に対処すること。
• ペaired地震データと速度マップのラベルを必要としない、FWIの教師なし学習パラダイムの開発。
• 物理ベースの前方モデリング（PDEを介して）とデータ駆動型ディープラーニング（CNNを介して）を、逆問題解決のためのエンドツーエンド微分可能なループに統合すること。
• 60,000件のラベル付きおよび48,000件のラベルなしの地震-速度ペアを含む、大規模かつ挑戦的なベンチマークデータセットOpenFWIを確立し、公平な評価を可能とすること。
• 知覚損失が、MSE や MAE といった標準損失関数を超えて、教師なしFWIにおける再構成品質と一般化性能を向上させることを実証すること。

提案手法

• 本手法は、真のラベルを必要とせず、地震データから直接速度マップを予測するCNNを用いる。
• 予測された速度マップは、音響波PDEの微分可能な有限差分近似に供され、合成地震データをシミュレートする。
• 合成データと入力地震データの間で再構成損失を用いて比較することで、教師なしの方法でCNNをエンドツーエンドに訓練可能となる。
• 前方モデリング演算子は微分可能であるため、PDEを介した逆伝播が可能となり、速度マップの監視なしにCNNの重みを最適化できる。
• 知覚損失が再構成損失に組み込まれ、波形の構造的整合性を保ち、逆問題の品質を向上させる。
• フレームワークは、真の速度マップを一切使用せずに、ラベルなし地震データのみで訓練される。

実験結果

リサーチクエスチョン

• RQ1 教師あり手法と同等またはそれ以上のFWI性能を達成できるか、教師なしディープラーニングフレームワークが、完全に地震データのみで訓練された場合に、その性能を示せるか？
• RQ2 微分可能なPDEモデリングとCNNの統合が、逆問題における一般化性能と再構成精度をどのように向上させるか？
• RQ3 特に知覚損失を含む損失関数の構成要素が、教師なしFWIにおける予測速度マップの品質を最も顕著に向上させるか？
• RQ4 OpenFWIのような大規模かつ多様な合成データセットが、教師なしFWI手法の評価に有効な堅牢なベンチマークとして機能できるか？
• RQ5 教師ありベースラインと比較して、ラベルなし地震データの量が増加するに従い、教師なしFWIの性能がどのようにスケーリングするか？

主な発見

• UPFWIは48,000件のラベルなし地震トレースで訓練され、平坦な層構造を持つ速度マップにおいて、平均二乗誤差（MSE）が1146.09に達し、教師ありH-PGNN+ベースライン比で26.77%の低減を達成した。
• 曲がった層構造を持つ速度マップでは、構造的類似度（SSIM）の観点からUPFWIが教師ありH-PGNN+モデルを上回り、OpenFWIデータセットで0.9895のSSIMを達成した。
• アブレーションスタディにより、知覚損失が再構成波形および速度マップの品質を顕著に向上させ、MSE や MAE を上回ることが確認された。
• 微分可能なPDEに起因するインダクティブバイアスのおかげで、UPFWIは複雑な地質的構造、特にずれ距離や傾き角度が異なる断層に対しても優れた一般化性能を示した。
• UPFWIはOpenFWIベンチマークで最先端の性能を達成し、高い構造的複雑性を有する現実世界に近いシナリオにおける有効性を裏付けた。
• より多くのラベルなしデータが利用可能になるにつれ、教師ありベースラインに比べて教師なしアプローチの一般化性能が顕著に向上し、データが限られる状況におけるスケーラビリティの利点が示された。