[論文レビュー] Deep Learning on Real Geophysical Data: A Case Study for Distributed Acoustic Sensing Research

Vincent Dumont, Verónica Rodrı́guez Tribaldos+2 more|arXiv (Cornell University)|Oct 15, 2020

Seismic Waves and Analysis参考文献 4被引用数 4

ひとこと要約

本論文は、HPCシステム上でResNetアーキテクチャを用いて、実際の分散音響センシング（DAS）データにおける利用可能な地震エネルギーを特定するためのハイパーパrameter最適化済みディープラーニングフレームワークを提示する。1,000枚のラベル付き画像での訓練により、整合性のある波とノイズの分類において高い精度が達成され、GPUスケーリングにより100倍の高速化が実現され、複雑な信号パターンにおいて真値確率の期待値と一致する4つの非常に解釈可能なモデルが同定された。

ABSTRACT

Deep Learning approaches for real, large, and complex scientific data sets can be very challenging to design. In this work, we present a complete search for a finely-tuned and efficiently scaled deep learning classifier to identify usable energy from seismic data acquired using Distributed Acoustic Sensing (DAS). While using only a subset of labeled images during training, we were able to identify suitable models that can be accurately generalized to unknown signal patterns. We show that by using 16 times more GPUs, we can increase the training speed by more than two orders of magnitude on a 50,000-image data set.

研究の動機と目的

• 高密度でノイズの多いDASデータにおける利用可能な地震エネルギーを特定するためのスケーラブルで解釈可能なディープラーニング分類器の開発。
• 容易にラベル付けや一般化ができない複雑で非整合的かつ飽和した信号パターンを分類する課題への対処。
• 大規模な地球物理学的データセットにおける効率的なトレーニングを実現するため、ハードウェア、データ表現、モデルアーキテクチャのハイパーパrameterを最適化すること。
• 非整合的および飽和した信号タイプのラベルが入手できない状況において、モデルの解釈可能性と信頼性の評価手法の確立。
• テラバイト規模の地球物理学的データに対するディープラーニングモデルのトレーニングにおけるGPUスケーリング効率の評価。

提案手法

• CPUおよびGPUを含むHPCハードウェア、グレースケールおよびRGBを含むデータ表現、深さとボトルネックサイズを変更可能なResNetを含むモデルアーキテクチャ、学習率、エポック数、バッチサイズを含む9次元のハイパーパrameterサーチを実施した。
• 研究ではNERSCのCoriスーパーコンピュータを用い、6,460種類の異なるモデルをトレーニングした。特に、4ノードにわたる最大32個のV100 GPUを用いたGPUベースのトレーニングに焦点を当てた。
• すべてのハイパーパrameter組み合わせを可視化・比較するために平行座標プロットを用い、真値確率値に近いモデルを最良のモデルとして特定した。
• モデルの解釈可能性は、4つの基準信号タイプ（白色雑音、整合性のある波、非整合性のある波、飽和信号）に対する期待される確率範囲と出力確率を照合することで評価した。
• トレーニングスループットマッピングを実施し、最適なGPUスケーリングを特定した。50,000枚の画像データセットにおいて、16から32個のGPUにスケーリングした際、2桁以上の速度向上が確認された。
• 二値分類を用い、整合性のある表面波と白色雑音を区別した。多様な信号パターンにおいて確率出力の一貫性をモデルが示すかで評価した。

実験結果

リサーチクエスチョン

• RQ1 どのようなハイパーパrameter設定が、実際のDASデータにおける地震エネルギー分類のための最も正確で汎用性の高いディープラーニングモデルを生み出すか？
• RQ2 GPUスケーリングは、大規模な地球物理学的ディープラーニングワークロードにおけるトレーニングスループットと効率にどのように影響するか？
• RQ3 クリーンな信号パターン（整合性のある波と白色雑音）のみでトレーニングされたモデルは、ラベルなしの複雑な信号領域における利用可能なエネルギーを信頼性高く予測できるか？
• RQ4 非整合的および飽和した信号パターンの真値ラベルが入手できない状況で、モデルの解釈可能性はどのように評価できるか？
• RQ5 高精度な地震信号分類のための、モデルの深さ、学習率、バッチサイズ、データ表現の最適なバランスは何か？

主な発見

• 1,440個のトレーニング済みモデルのうち、4つしかすべての基準信号タイプについて期待される真値確率範囲と一致する出力確率を生成しなかったが、これは高い信頼性と解釈可能性を示している。
• 最も優れた性能を示したモデルは、学習率0.001、バッチサイズ128、1,000枚のサブセットでトレーニングされた14層の隠れ層を持つResNetであり、40エポック後に整合性のある波に対して0.9163、白色雑音に対して0.0237の確率を一貫して出力した。
• 非整合性のある波に対しては、最良のモデルが0.8592～0.8628の確率を予測し、期待される範囲（0.7～0.9）内に収まった。
• 飽和信号に対しては、最良のモデルが0.2048～0.2975の確率を予測し、期待される範囲（0.2～0.3）と一致した。
• 50,000枚の画像データセットにおいて、16から32個のGPUにスケーリングした際、トレーニングスループットが2桁以上向上し、強力なGPUスケーリング効率が示された。
• 本研究では、GPUベースのトレーニングが大規模なDASデータにおいて、CPUベースの並列化に比べて速度とスケーラビリティで顕著に優れていることが同定された。