[논문 리뷰] Generating Data Augmentation samples for Semantic Segmentation of Salt Bodies in a Synthetic Seismic Image Dataset

Luis Felipe Henriques, Sérgio Colcher외 3명|arXiv (Cornell University)|2021. 06. 15.

Seismic Imaging and Inversion Techniques인용 수 5

한 줄 요약

이 논문은 합성 지질 이미지에서 소금 마디의 의미적 분할을 위한 조건부 생성적 데이터 증강 방법을 제안한다. 변동형 오토인코더(Variational Autoencoder)를 사용해 소금 마스크를 생성하고, 조건부 정규화 흐름(Conditional Normalizing Flow)을 활용해 해당 마스크에 대응하는 지질 패치를 합성한다. 제안된 방법은 최신 모델들 간 평균 IoU를 8.57% 향상시켰으며, xception_71 백본을 사용한 DeeplabV3+ 모델에서 최고 성능으로 95.17%의 IoU를 기록하였다.

ABSTRACT

Nowadays, subsurface salt body localization and delineation, also called semantic segmentation of salt bodies, are among the most challenging geophysicist tasks. Thus, identifying large salt bodies is notoriously tricky and is crucial for identifying hydrocarbon reservoirs and drill path planning. This work proposes a Data Augmentation method based on training two generative models to augment the number of samples in a seismic image dataset for the semantic segmentation of salt bodies. Our method uses deep learning models to generate pairs of seismic image patches and their respective salt masks for the Data Augmentation. The first model is a Variational Autoencoder and is responsible for generating patches of salt body masks. The second is a Conditional Normalizing Flow model, which receives the generated masks as inputs and generates the associated seismic image patches. We evaluate the proposed method by comparing the performance of ten distinct state-of-the-art models for semantic segmentation, trained with and without the generated augmentations, in a dataset from two synthetic seismic images. The proposed methodology yields an average improvement of 8.57% in the IoU metric across all compared models. The best result is achieved by a DeeplabV3+ model variant, which presents an IoU score of 95.17% when trained with our augmentations. Additionally, our proposal outperformed six selected data augmentation methods, and the most significant improvement in the comparison, of 9.77%, is achieved by composing our DA with augmentations from an elastic transformation. At last, we show that the proposed method is adaptable for a larger context size by achieving results comparable to the obtained on the smaller context size.

연구 동기 및 목표

• 깊은 학습을 위한 지질 소금 마디 분할에서 레이블이 부족한 문제를 해결하여 모델의 일반화 능력을 향상시키고, 전문가의 고비용 레이블링 작업을 줄이기 위해 노력한다.
• 훈련 데이터의 다양성과 양을 늘리기 위해 현실적인 쌍체의 지질 이미지 패치와 해당하는 소금 마스크를 생성하는 데이터 증강 전략을 개발한다.
• 수동 레이블링 없이도 합성 지질 데이터셋에서 의미적 분할 모델의 성능을 향상시키기 위한 목표를 달성한다.
• 다양한 모델 아키텍처와 컨텍스트 크기(특히 더 큰 수신장)에 일반화 가능한 방법을 확보한다.

제안 방법

• 잠재 노이즈 벡터에서 소금 마디 형태와 공간 구성의 분포를 학습함으로써, 현실적인 소금 마디 마스크를 생성하기 위해 변동형 오토인코더(VAE)를 훈련한다.
• 생성된 마스크에 조건부로 작용하는 조건부 정규화 흐름(CNF) 모델을 사용하여, 입력 마스크의 구조적 특성과 진폭 특성과 일치하는 현실적인 지질 이미지 패치를 합성한다.
• 먼저 VAE의 잠재 공간에서 샘플링하여 소금 마스크를 디코딩하고, 그 다음 CNF를 사용해 해당 마스크에 대응하는 지질 이미지 패치를 생성함으로써 쌍체 데이터 샘플을 생성한다.
• 천 개 이상의 이러한 쌍체 샘플을 생성하고, 수평 뒤집기와 같은 기법을 추가하여 훈련 세트의 다양성을 높이고 과적합을 줄인다.
• 기존 데이터와 증강된 데이터를 모두 사용해 의미적 분할 모델(예: U-Net, DeeplabV3+)을 훈련하고, IoU 및 테스트 세트 점수를 사용해 성능을 평가한다.
• 겹치는 패치(90% 겹침)로 재훈련하고 중간 수준의 소금 농도(10–90%)를 필터링하여, 더 큰 컨텍스트 크기(예: 128×128)에 적합하도록 생성 모델을 조정한다.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터가 존재할 때, 조건부 생성 모델 파이프라인은 지질 이미지에서 소금 마디의 의미적 분할 성능을 향상시킬 수 있는가?
• RQ2 두 단계로 구성된 생성 전략—먼저 VAE로 마스크를 생성하고, 그 다음 CNF로 지질 패치를 합성하는 방식—은 현실적이고 유용한 훈련 샘플을 생성하는가?
• RQ3 기존의 증강 기법(예: 탄성 변형, 무작위 뒤집기)과 비교했을 때, 제안된 데이터 증강 기법은 성능에서 어떤 차이를 보이는가?
• RQ4 성능 저하 없이, 이 방법은 더 큰 컨텍스트 크기(예: 128×128)에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 데이터 증강 방법은 10종의 최신 의미적 분할 모델들 간 평균 IoU 지표에서 8.57% 향상된 성능을 기록하였다.
• 가장 높은 성능을 보인 모델인 DeeplabV3+와 xception_71 백본 조합은 생성된 증강 데이터로 훈련된 결과, 테스트 IoU 점수 95.17%를 기록하였다.
• 탄성 변형 증강과 조합했을 때, MobileNetV3-large 백본을 사용한 DeeplabV3+ 모델은 90.39%의 테스트 IoU를 기록하였으며, 해당 아키텍처에서 가장 높은 점수를 기록하였다.
• 고립적으로 적용했을 때, 제안된 방법은 7종의 표준 증강 기법보다 뛰어난 성능을 보였으며, 특히 탄성 변형과 조합했을 때 9.77%의 가장 높은 향상률을 기록하였다.
• 생성 프레임워크는 더 큰 컨텍스트 크기로 일반화 가능하다: 128×128 패치에서 훈련한 경우, 증강된 모델은 테스트 IoU 90.55%를 기록하였고, 비증강 버전은 84.85%였다.
• VAE와 CNF 모델은 안정적으로 수렴하였으며, VAE는 Tesla P100 GPU에서 14시간, CNF는 TPU v2-8에서 6일 동안 훈련되어 대규모 데이터 생성의 실현 가능성을 입증하였다.