[论文解读] Generating Data Augmentation samples for Semantic Segmentation of Salt Bodies in a Synthetic Seismic Image Dataset

Luis Felipe Henriques, Sérgio Colcher+3 more|arXiv (Cornell University)|Jun 15, 2021

Seismic Imaging and Inversion Techniques被引用 5

一句话总结

本文提出了一种用于合成地震图像中盐体语义分割的条件生成数据增强方法，利用变分自编码器（VAE）生成盐体掩码，并通过条件归一化流（Conditional Normalizing Flow）合成相应的地震图像块。该方法在最先进模型上的平均IoU提升了8.57%，其中使用xception_71主干网络的DeeplabV3+模型最佳结果达到95.17%的IoU。

ABSTRACT

Nowadays, subsurface salt body localization and delineation, also called semantic segmentation of salt bodies, are among the most challenging geophysicist tasks. Thus, identifying large salt bodies is notoriously tricky and is crucial for identifying hydrocarbon reservoirs and drill path planning. This work proposes a Data Augmentation method based on training two generative models to augment the number of samples in a seismic image dataset for the semantic segmentation of salt bodies. Our method uses deep learning models to generate pairs of seismic image patches and their respective salt masks for the Data Augmentation. The first model is a Variational Autoencoder and is responsible for generating patches of salt body masks. The second is a Conditional Normalizing Flow model, which receives the generated masks as inputs and generates the associated seismic image patches. We evaluate the proposed method by comparing the performance of ten distinct state-of-the-art models for semantic segmentation, trained with and without the generated augmentations, in a dataset from two synthetic seismic images. The proposed methodology yields an average improvement of 8.57% in the IoU metric across all compared models. The best result is achieved by a DeeplabV3+ model variant, which presents an IoU score of 95.17% when trained with our augmentations. Additionally, our proposal outperformed six selected data augmentation methods, and the most significant improvement in the comparison, of 9.77%, is achieved by composing our DA with augmentations from an elastic transformation. At last, we show that the proposed method is adaptable for a larger context size by achieving results comparable to the obtained on the smaller context size.

研究动机与目标

• 解决深度学习在地震盐体分割任务中因标注数据有限而带来的模型泛化能力差的问题，该问题通常需要昂贵的专家标注。
• 开发一种数据增强策略，生成逼真且配对的地震图像块与对应盐体掩码，以提升训练数据的多样性与数量。
• 在不依赖人工标注增强样本的前提下，提升语义分割模型在合成地震数据集上的性能。
• 确保所提方法在不同模型架构和感受野大小（包括更大的感受野）下均具有良好的泛化能力。

提出的方法

• 训练一个变分自编码器（VAE），从潜在噪声向量生成合理的盐体掩码，学习盐体形状与空间构型的分布。
• 使用以生成掩码为条件的条件归一化流（CNF）模型，合成与输入掩码在结构和振幅特性上匹配的逼真地震图像块。
• 通过首先从VAE的潜在空间采样，解码出盐体掩码，再利用CNF生成对应地震图像块，生成成对的数据样本。
• 通过生成数千对这样的成对样本（包括水平翻转）进行数据增强，以提升训练集多样性并减少过拟合。
• 在原始数据与增强数据上联合训练语义分割模型（如U-Net、DeeplabV3+），并使用IoU和测试集得分评估性能。
• 通过在重叠率为90%的重叠图像块上微调，将生成模型适配至更大的上下文尺寸（如128×128），并筛选中等盐含量（10–90%）的样本。

实验结果

研究问题

• RQ1 当标注数据有限时，条件生成模型流水线是否能提升地震图像中盐体语义分割的性能？
• RQ2 所提出的两阶段生成方法——先通过VAE生成掩码，再通过CNF合成地震图像块——是否能生成逼真且有用的训练样本？
• RQ3 与弹性形变或随机翻转等标准增强技术相比，该方法在性能上表现如何？
• RQ4 该方法能否在不降低性能的前提下有效适配更大的上下文尺寸（如128×128）？

主要发现

• 所提数据增强方法在十种最先进语义分割模型上的平均IoU指标提升了8.57%。
• 性能最佳的模型为使用xception_71主干网络的DeeplabV3+，在使用生成增强数据训练后，测试IoU达到95.17%。
• 当与弹性形变增强结合时，使用MobileNetV3-large主干网络的DeeplabV3+模型达到90.39%的测试IoU，为该架构的最高得分。
• 在单独使用时，该方法优于七种标准数据增强技术，其中与弹性形变结合时性能提升最大，达9.77%。
• 生成框架可泛化至更大上下文尺寸：在128×128图像块上训练时，增强模型的测试IoU达到90.55%，而非增强版本仅为84.85%。
• VAE与CNF模型均稳定收敛：VAE在Tesla P100 GPU上训练耗时14小时，CNF在TPU v2-8上训练耗时6天，表明其在大规模数据生成中的可行性。