[논문 리뷰] Semi-Supervised Segmentation of Salt Bodies in Seismic Images using an Ensemble of Convolutional Neural Networks

Yauhen Babakhin, Artsiom Sanakoyeu외 1명|arXiv (Cornell University)|2019. 04. 09.

Seismic Imaging and Inversion Techniques참고 문헌 50인용 수 9

한 줄 요약

이 논문은 반감독 학습 기반의 딥러닝 접근법을 제안하며, 반복적 자기학습을 통해 레이블이 없는 데이터를 활용하여 지층 이미지 내 소금 블록 분할을 수행한다. U-ResNet34와 U-ResNeXt50 모델의 앙상블을 사용하여 신뢰도 기반의 가짜 레이블링과 앙상블 평균을 통해 오류 확산을 줄이고, 최종적으로 TGS 소금 식별 챌린지에서 3,234개 팀 중 1위를 차지하며 사전 테스트 mAP 0.8964를 달성하였다.

ABSTRACT

Seismic image analysis plays a crucial role in a wide range of industrial applications and has been receiving significant attention. One of the essential challenges of seismic imaging is detecting subsurface salt structure which is indispensable for identification of hydrocarbon reservoirs and drill path planning. Unfortunately, exact identification of large salt deposits is notoriously difficult and professional seismic imaging often requires expert human interpretation of salt bodies. Convolutional neural networks (CNNs) have been successfully applied in many fields, and several attempts have been made in the field of seismic imaging. But the high cost of manual annotations by geophysics experts and scarce publicly available labeled datasets hinder the performance of the existing CNN-based methods. In this work, we propose a semi-supervised method for segmentation (delineation) of salt bodies in seismic images which utilizes unlabeled data for multi-round self-training. To reduce error amplification during self-training we propose a scheme which uses an ensemble of CNNs. We show that our approach outperforms state-of-the-art on the TGS Salt Identification Challenge dataset and is ranked the first among the 3234 competing methods.

연구 동기 및 목표

• 수소화탄소 탐사에서 소금 블록 분할을 위한 제한된 레이블이 있는 지층 데이터 문제 해결.
• 풍부한 레이블이 없는 지층 데이터를 활용하여 고비용 전문가 레이블링에 대한 의존도를 줄이기.
• 반감독 딥러닝에서 반복적 자기학습 동안 오류 확산을 완화하기.
• 앙상블 학습과 다중 라운드 가짜 레이블링을 통해 분할 성능 향상.
• TGS 소금 식별 챌린지 데이터셋에서 최고 성능 달성.

제안 방법

• K라운드 동안 반복적 자기학습을 적용하며, 각 라운드에서 레이블이 있는 데이터와 레이블이 없는 데이터에서 신뢰도 기반으로 예측된 가짜 레이블을 사용하여 모델을 재학습.
• U-ResNet34와 U-ResNeXt50라는 두 가지 다른 CNN 아키텍처의 앙상블을 사용하여 안정성 향상과 오류 전파 감소.
• 레이블이 없는 데이터에 대한 가짜 레이블 생성 시 앙상블의 평균 투표를 활용하여 예측 레이블의 신뢰도 향상.
• 각 라운드에서 모델을 다시 초기화하고 모든 가짜 레이블을 재계산하여 오류 누적 방지.
• 에코더 및 디코더 블록 이후 scSE 모듈을 통합하고, 특징 표현을 향상시키기 위해 피처 피라미드 주의(Feature Pyramid Attention, FPA) 모듈을 사용.
• 최종 분할 예측 전에 다중 스케일 디코더 특징을 하이퍼컬럼으로 연결하고, 두 개의 컨볼루션 레이어를 사용.

실험 결과

연구 질문

• RQ1 레이블이 부족한 상황에서 가짜 레이블링을 통한 반복적 자기학습이 분할 성능을 크게 향상시킬 수 있는가?
• RQ2 반감독 딥러닝에서 자기학습 과정에서 앙상블 학습이 오류 확산을 어떻게 완화하는가?
• RQ3 감독 학습 전처리를 넘어서 레이블이 없는 지층 데이터가 모델 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 U-ResNet34와 U-ResNeXt50와 같은 다양한 아키텍처를 조합하면 단일 모델 접근법보다 성능 향상이 이루어지는가?
• RQ5 스냅샷 평균 및 k-폴드 학습과 같은 모델 앙상블 전략이 최종 분할 정확도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 사전 테스트 mAP 0.8964를 기록하여 TGS 소금 식별 챌린지에서 3,234개 팀 중 1위를 차지하였다.
• 세 번의 자기학습 라운드 후, 라운드 2에서 mAP가 0.6% 향상되었고, 라운드 3에서는 추가로 0.2% 향상되어 일관된 성능 향상을 보였다.
• 라운드 2와 라운드 3 모델의 앙상블은 추가로 0.1% mAP 향상을 기록하여 랭킹을 12위에서 10위로 상향시켰다.
• 테스트 시 증강 기법만을 사용할 경우 기준 단일 모델 추론 대비 mAP가 0.6% 향상되었다.
• k-폴드 데이터 분할에서 학습하고 여러 스냅샷을 활용함으로써 mAP는 각각 0.6%와 0.4% 향상되었으며, 이는 모델 다양성의 상당한 기여를 보여주었다.
• 오직 200 에포크에서 학습한 모델은 mAP 0.8834를 기록했지만, 추가 학습으로는 0.1%의 성능 향상만 있었고, 이는 포화 상태에 도달했음을 시사하며, 레이블이 없는 데이터를 활용한 자기학습의 가치를 강조한다.