[論文レビュー] Generating Data Augmentation samples for Semantic Segmentation of Salt Bodies in a Synthetic Seismic Image Dataset

Luis Felipe Henriques, Sérgio Colcher+3 more|arXiv (Cornell University)|Jun 15, 2021

Seismic Imaging and Inversion Techniques被引用数 5

ひとこと要約

本稿では、合成地震画像における塩体のセマンティックセグメンテーションのための条件付き生成的データ拡張手法を提案する。変分自己オートエンコーダ（VAE）を用いて塩マスクを生成し、条件付き正規化フロー（CNF）を用いて対応する地震パッチを合成する。この手法により、最先端モデル全体で平均8.57%のIoU向上が達成され、xception_71バックボーンを搭載したDeeplabV3+モデルでは最高で95.17%のIoUを記録した。

ABSTRACT

Nowadays, subsurface salt body localization and delineation, also called semantic segmentation of salt bodies, are among the most challenging geophysicist tasks. Thus, identifying large salt bodies is notoriously tricky and is crucial for identifying hydrocarbon reservoirs and drill path planning. This work proposes a Data Augmentation method based on training two generative models to augment the number of samples in a seismic image dataset for the semantic segmentation of salt bodies. Our method uses deep learning models to generate pairs of seismic image patches and their respective salt masks for the Data Augmentation. The first model is a Variational Autoencoder and is responsible for generating patches of salt body masks. The second is a Conditional Normalizing Flow model, which receives the generated masks as inputs and generates the associated seismic image patches. We evaluate the proposed method by comparing the performance of ten distinct state-of-the-art models for semantic segmentation, trained with and without the generated augmentations, in a dataset from two synthetic seismic images. The proposed methodology yields an average improvement of 8.57% in the IoU metric across all compared models. The best result is achieved by a DeeplabV3+ model variant, which presents an IoU score of 95.17% when trained with our augmentations. Additionally, our proposal outperformed six selected data augmentation methods, and the most significant improvement in the comparison, of 9.77%, is achieved by composing our DA with augmentations from an elastic transformation. At last, we show that the proposed method is adaptable for a larger context size by achieving results comparable to the obtained on the smaller context size.

研究の動機と目的

• ラベル付きデータが限られる深層学習における地震塩体セグメンテーションの課題に対処し、モデルの汎化性を向上させるとともに、高コストな専門家によるラベル付けを回避する。
• 訓練データの多様性と量を増やすために、現実的でペア化された地震画像パッチと対応する塩マスクを生成するデータ拡張戦略を開発する。
• 拡張されたサンプルに手動ラベル付けを一切行わず、合成地震データセット上でセマンティックセグメンテーションモデルの性能を向上させる。
• 異なるモデルアーキテクチャーやより大きな受容 field を含む文脈サイズに対しても汎用性を確保する。

提案手法

• 潜在ノイズベクトルから現実的な塩体マスクを生成するため、変分自己オートエンコーダ（VAE）を訓練し、塩体形状と空間的配置の分布を学習する。
• 生成されたマスクを条件として用いる条件付き正規化フロー（CNF）モデルを用い、入力マスクの構造的・振幅的特徴と一致する現実的な地震画像パッチを合成する。
• まずVAEの潜在空間からサンプリングし、マスクをデコードした後、CNFを用いて対応する地震画像パッチを生成することで、ペアデータサンプルを生成する。
• 水平反転を含め、数千個のこのようなペアサンプルを生成し、訓練データセットの多様性を高め、過学習を低減する。
• U-Net や DeeplabV3+ などのセマンティックセグメンテーションモデルを、元のデータと拡張データの両方で訓練し、IoUとテストセットスコアを用いて性能を評価する。
• 重複率90%のオーバーラップを持つパッチで再訓練し、中程度の塩含有量（10–90%）のものをフィルタリングすることで、VAEとCNFモデルをより大きな文脈サイズ（例：128×128）に適応させる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況において、条件付き生成的モデルパイプラインが地震画像における塩体セグメンテーション性能を向上させられるか？
• RQ2 VAEでマスクを最初に生成し、その後CNFで地震パッチを合成する二段階の生成アプローチが、現実的で有用なトレーニングサンプルを生成できるか？
• RQ3 標準的な増幅技術（例：弾性変形やランダムフリップ）と比較して、提案手法の性能はどの程度向上するか？
• RQ4 性能劣化を伴わず、より大きな文脈サイズ（例：128×128）に対しても効果的に適応可能か？

主な発見

• 提案手法によるデータ拡張により、10種類の最先端セマンティックセグメンテーションモデル全体で、交差率（IoU）が平均8.57%向上した。
• 最も優れた性能を示したモデル、DeeplabV3+（xception_71バックボーン）は、生成された拡張データで訓練した結果、テストIoUスコアが95.17%に達した。
• 弾性変形増幅と組み合わせた場合、MobileNetV3-largeバックボーンを搭載したDeeplabV3+モデルは、90.39%のテストIoUを記録し、同アーキテクチャで最高のスコアとなった。
• 標準的なデータ増幅技術7種類と比較した結果、提案手法はそれらを上回り、特に弾性変形と組み合わせた場合、9.77%の最大向上を達成した。
• 生成フレームワークはより大きな文脈サイズにも汎用性を示した。128×128パッチで訓練した場合、拡張済みモデルのテストIoUは90.55%に達したのに対し、非拡張バージョンでは84.85%にとどまった。
• VAEとCNFモデルは安定して収束し、VAEはTesla P100 GPUで14時間、CNFはTPU v2-8で6日間で訓練完了し、大規模なデータ生成の実現可能性を示した。