[論文レビュー] Seismic Full-Waveform Inversion Using Deep Learning Tools and Techniques

Alan Richardson|arXiv (Cornell University)|Jan 22, 2018

Seismic Imaging and Inversion Techniques参考文献 3被引用数 46

ひとこと要約

本論文は地震全波形反演（FWI）を深層学習ソフトウェア（例：TensorFlow）を用いて再帰型ニューラルネットワークとして実装できることを示し、Adamのミニバッチ最適化がSGDまたはL-BFGS-Bよりも収束を速く安定させ、勾配が adjoint-state 法と一致することを示している。

ABSTRACT

I demonstrate that the conventional seismic full-waveform inversion algorithm can be constructed as a recurrent neural network and so implemented using deep learning software such as TensorFlow. Applying another deep learning concept, the Adam optimizer with minibatches of data, produces quicker convergence toward the true wave speed model on a 2D dataset than Stochastic Gradient Descent and than the L-BFGS-B optimizer with the cost function and gradient computed using the entire training dataset. I also show that the cost function gradient calculation using reverse-mode automatic differentiation is the same as that used in the adjoint state method.

研究の動機と目的

• FWIを DL ソフトウェアで実装された DNN/RNN として表現することにより、深層学習と従来のFWIの組み合わせの動機づけを行う。
• DL における自動微分の勾配が FWI の adjoint-state 勾配と一致することを示す。
• SEAM ベースの 2D モデルで minibatch 最適化（Adam と SGD）を L-BFGS-B と比較して、収束速度と精度を評価する。
• メモリや開発データセットの必要性を含む、DL ツールを FWI に適用する際の実務上の考慮事項を評価する。

提案手法

• 波動方程式の前方モデリングを RNN として表現し、各ユニットが有限差分スキームの1タイムステップを進める。
• RNN フレームワーク内で空間微分を実装するために有限差分カーネルを用いた畳み込みを用いる。
• 自動微分によって勾配を計算し、それを adjoint-state 法（付録 A）と関連付ける。
• SEAM ベースの 2D データセット上で Adam、SGD（ミニバッチ付き）、および L-BFGS-B 最適化アルゴリズムを比較し、収束速度と安定性を評価する。
• SEAM由来モデルを用いて、バッチサイズや学習率などのハイパーパラメータを調整する開発データセットを確保する。
• 自動微分と adjoint-state 勾配計算のメモリ要件を論じる。

実験結果

リサーチクエスチョン

• RQ1 FWI を深層学習ソフトウェアを用いて再帰型ニューラルネットワークとして定式化・実行できるか。
• RQ2 波速更新における FWI での自動微分勾配と adjoint-state 勾配はどう比較されるか。
• RQ3 minibatch 最適化（Adam、SGD）は DL ベースの FWI において全バッチ L-BFGS-B よりも速く安定した収束を提供するか。
• RQ4 DL ツールを FWI に適用する際の実務的考慮事項（メモリ、ハイパーパラメータの調整）とは何か。

主な発見

• FWI は TensorFlow などのDLソフトウェアを用いて RNN として実装でき、前方モデリングと勾配計算を可能にする。
• 自動微分からの勾配は adjoint-state 法からの勾配とほぼ一致し、端数の差異が小さい。
• SEAMベースの2Dデータセット上で、ミニバッチを用いるAdamはSGDおよびL-BFGS-Bより収束が速く安定し、評価回数が少ないうちに真のモデルに近い結果を得ることが多い。
• ハイパーパラメータ調整に用いた開発データは、未見データでの収束と汎化を改善する。
• Adam は SGD より速く収束し、真のモデルに近いモデルを生成する。一方、L-BFGS-B は収束が遅く、モデル更新回数が少なくなる。