[論文レビュー] Data-driven geophysics: from dictionary learning to deep learning

Siwei Yu, Jianwei Ma|arXiv (Cornell University)|Jul 13, 2020

Seismic Imaging and Inversion Techniques参考文献 130被引用数 13

ひとこと要約

本論文は、従来のモデル駆動型アプローチの限界を克服するため、辞書学習から深層学習への移行を含む、データ駆動型地球物理学的手法の包括的レビューを提示している。これらの手法が、多様な地球物理学的応用分野におけるデータ処理、逆問題解法、解釈の質を向上させることを示しており、地球科学者向けの実用的ガイダンスと今後の研究方向性を提供している。

ABSTRACT

Understanding the principles of geophysical phenomena is an essential and challenging task. "Model-driven" approaches have supported the development of geophysics for a long time; however, such methods suffer from the curse of dimensionality and may inaccurately model the subsurface. "Data-driven" techniques may overcome these issues with increasingly available geophysical data. In this article, we review the basic concepts of and recent advances in data-driven approaches from dictionary learning to deep learning in a variety of geophysical scenarios. Explorational geophysics including data processing, inversion and interpretation will be mainly focused. Artificial intelligence applications on geoscience involving deep Earth, earthquake, water resource, atmospheric science, satellite remoe sensing and space sciences are also reviewed. We present a coding tutorial and a summary of tips for beginners and interested geophysical readers to rapidly explore deep learning. Some promising directions are provided for future research involving deep learning in geophysics, such as unsupervised learning, transfer learning, multimodal deep learning, federated learning, uncertainty estimation, and activate learning.

研究の動機と目的

• 次元の呪いや不正確な地下構造モデリングといった、モデル駆動型地球物理学の限界を是正すること。
• 地球物理データ処理、逆問題解法、解釈の分野における最近のデータ駆動型技術の進展、特に辞書学習と深層学習のレビュー。
• 深層学習に初めて触れる地球物理学者向けの実践的コードチュートリアルと実装のヒントの提供。
• 教師あり学習に依存しない新しい研究分野、例えば教師なし学習、転移学習、不確実性推定の同定と議論。
• 深部地球、水文・大気科学、リモートセンシングを含む応用事例を通じて、機械学習と地球科学の間のギャップを埋めること。

提案手法

• 地球物理データのスパース表現技術としての辞書学習を体系的にレビューし、効率的な特徴抽出を可能にする。
• 地球物理データ解析に適した深層学習アーキテクチャ（畳み込みニューラルネットワーク（CNNs）やオートエンコーダー）を導入。
• 従来の地球物理ワークフロー（例えば、フルウェーブフォーム逆問題や地震解釈）にデータ駆動型手法を統合するフレームワークを提案。
• PyTorchと一般的な地球物理データセットを用いた実践的コードチュートリアルを提供し、迅速なプロトタイピングを支援。
• 低データ環境におけるデータ要件を低減するために、転移学習と自己教師あり学習の活用を強調。
• 地球物理的深層学習におけるハイパーパrameterチューニング、データ拡張、モデル評価のベストプラクティスを概説。

実験結果

リサーチクエスチョン

• RQ1 従来のモデルベース手法と比較して、辞書学習は地球物理信号の表現と処理をどのように改善するか？
• RQ2 地球物理データへの深層学習の適用における主な課題は何か。データ駆動型戦略によってどのように緩和できるか？
• RQ3 教師なし学習および自己教師あり学習は、地球物理応用分野における大規模ラベル付きデータセットへの依存をどのように低減できるか？
• RQ4 転移学習およびマルチモーダル学習は、データが乏しい地球物理分野での性能をどのように向上させられるか？
• RQ5 深層地球物理モデルにおける不確実性推定とアクティブラーニングの最も効果的なアプローチは何か？

主な発見

• 特に深層学習を含むデータ駆動型手法は、地震データ処理および逆問題タスクの正確性と効率性を顕著に向上させる。
• 辞書学習は、地球物理信号の効果的なスパース表現を可能にし、ノイズ低減と特徴強調を実現する。
• 転移学習は、大規模ラベル付きデータセットの必要性を低減し、データが少ない地球物理的状況での一般化性能を向上させる。
• 自己教師ありおよび教師なし事前学習戦略は、地球物理学における深層学習モデルの初期化に強く有望な可能性を示している。
• 不確実性推定を深層学習モデルに統合することで、地球物理的意思決定における信頼性と解釈可能性が向上する。
• 提供されたコードチュートリアルにより、地球物理学者はオープンソースツールを用いて、深層学習パイプラインを迅速に実装・実験できるようになる。