[論文レビュー] Semi-Supervised Segmentation of Salt Bodies in Seismic Images using an Ensemble of Convolutional Neural Networks

Yauhen Babakhin, Artsiom Sanakoyeu+1 more|arXiv (Cornell University)|Apr 9, 2019

Seismic Imaging and Inversion Techniques参考文献 50被引用数 9

ひとこと要約

本論文は、自己学習を繰り返し適用する手法を用いて、ラベルなしデータを活用し、U-ResNet34とU-ResNeXt50のアンサンブルを用いた半教師付き深層学習アプローチを提案する。信頼度に基づく偽ラベルとアンサンブル平均化により誤差拡大を低減し、TGS Salt Identification Challengeにおいて3,234チーム中1位を獲得し、プライベートテストmAP 0.8964の最先端性能を達成した。

ABSTRACT

Seismic image analysis plays a crucial role in a wide range of industrial applications and has been receiving significant attention. One of the essential challenges of seismic imaging is detecting subsurface salt structure which is indispensable for identification of hydrocarbon reservoirs and drill path planning. Unfortunately, exact identification of large salt deposits is notoriously difficult and professional seismic imaging often requires expert human interpretation of salt bodies. Convolutional neural networks (CNNs) have been successfully applied in many fields, and several attempts have been made in the field of seismic imaging. But the high cost of manual annotations by geophysics experts and scarce publicly available labeled datasets hinder the performance of the existing CNN-based methods. In this work, we propose a semi-supervised method for segmentation (delineation) of salt bodies in seismic images which utilizes unlabeled data for multi-round self-training. To reduce error amplification during self-training we propose a scheme which uses an ensemble of CNNs. We show that our approach outperforms state-of-the-art on the TGS Salt Identification Challenge dataset and is ranked the first among the 3234 competing methods.

研究の動機と目的

• 炭化水素探査における塩体セグメンテーションのためのラベル付き地震画像データが限られているという課題に対処する。
• 豊富に存在するラベルなし地震データを活用することで、高価な専門家によるラベリングに依存するのを減らす。
• 半教師付き深層学習における反復的自己学習の過程で誤差拡大を緩和する。
• アンサンブル学習と複数ラウンドの偽ラベル生成により、セグメンテーション性能を向上させる。
• TGS Salt Identification Challengeデータセットで最先端の結果を達成する。

提案手法

• Kラウンドにわたる反復的自己学習を適用し、各ラウンドでラベル付きデータとラベルなしデータからの信頼度予測に基づく偽ラベルを用いてモデルを再訓練する。
• U-ResNet34とU-ResNeXt50という2つの異なる畳み込みニューラルネットワークアーキテクチャのアンサンブルを用い、モデルの頑健性を高め、誤差伝搬を低減する。
• アンサンブル全体の平均投票を用いて偽ラベルを生成し、ラベルなしデータに対する予測ラベルの信頼性を向上させる。
• 各ラウンドでモデルを再訓練し、すべての偽ラベルを再計算することで、誤差の蓄積を回避する。
• エンコーダーおよびデコーダーブロックの後にscSEモジュールを統合し、特徴表現を強化する。
• 最終的なセグメンテーション予測の前に、マルチスケールのデコーダー特徴をハイパーカラムとして連結し、2つの畳み込み層を用いる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下で、反復的自己学習と偽ラベル生成がセグメンテーション性能を顕著に向上させることができるか？
• RQ2 アンサンブル学習は、半教師付き深層学習における地震画像セグメンテーションの自己学習プロセスで誤差拡大をどのように緩和するか？
• RQ3 教師あり事前学習を超えて、ラベルなし地震データを活用することで、モデルの一般化性能がどの程度向上するか？
• RQ4 U-ResNet34とU-ResNeXt50といった異なるアーキテクチャを組み合わせることで、単一モデルアプローチに比べて性能が向上するか？
• RQ5 スナップショット平均化やk分割交差検証トレーニングといったモデルアンサンブル戦略が、最終的なセグメンテーション精度に与える影響は何か？

主な発見

• 提案手法はプライベートテストmAP 0.8964を達成し、TGS Salt Identification Challengeにおいて3,234チーム中1位の順位を獲得した。
• 3ラウンドの自己学習を経て、2ラウンド目でmAPが0.6%向上し、3ラウンド目でさらに0.2%向上した。これは一貫した性能向上を示している。
• 2ラウンド目と3ラウンド目のモデルをアンサンブル化することで、mAPがさらに0.1%向上し、リーダーボード上での順位が12位から10位に上昇した。
• テスト時増強を単独で適用した場合、ベースラインの単一モデル推論に比べてmAPが0.6%向上した。
• k分割データ分割で学習し、複数のスナップショットを用いることで、それぞれmAPが0.6%および0.4%向上し、モデル多様性による顕著な向上が確認された。
• 200エポックでの学習でmAP 0.8834を達成したが、さらに学習を延長してもmAPはわずか0.1%の向上にとどまり、飽和状態に達していることが示された。これは、ラベルなしデータを用いた自己学習の価値を強調している。