[논문 리뷰] MudrockNet: Semantic Segmentation of Mudrock SEM Images through Deep Learning

Abhishek Bihani, Hugh Daigle외 4명|arXiv (Cornell University)|2021. 02. 05.

Electron and X-Ray Spectroscopy Techniques참고 문헌 70인용 수 55

한 줄 요약

MudrockNet는 일본 쿠마노 분지의 미세모래석에서 수집한 참값 데이터를 기반으로 텐서플로우를 사용해 구축한 딥러닝 기반 의미적 세그멘테이션 모델로, 미세모래입자와 기공을 스캐닝 전자현미경(SEM) 이미지에서 자동으로 식별한다. DeepLab-v3+ 아키텍처를 기반으로 하여, 미세모래입자에 대해 평균 교차율(IoU) 0.6591, 기공에 대해 0.6642를 기록하며 기존의 Weka 랜덤 포레스트와 비교해 정확도와 속도 면에서 뛰어난 성능을 보였다.

ABSTRACT

Segmentation and analysis of individual pores and grains of mudrocks from scanning electron microscope images is non-trivial because of noise, imaging artifacts, variation in pixel grayscale values across images, and overlaps in grayscale values among different physical features such as silt grains, clay grains, and pores in an image, which make their identification difficult. Moreover, because grains and pores often have overlapping grayscale values, direct application of threshold-based segmentation techniques is not sufficient. Recent advances in the field of computer vision have made it easier and faster to segment images and identify multiple occurrences of such features in an image, provided that ground-truth data for training the algorithm is available. Here, we propose a deep learning SEM image segmentation model, MudrockNet based on Google's DeepLab-v3+ architecture implemented with the TensorFlow library. The ground-truth data was obtained from an image-processing workflow applied to scanning electron microscope images of uncemented muds from the Kumano Basin offshore Japan at depths < 1.1 km. The trained deep learning model obtained a pixel-accuracy about 90%, and predictions for the test data obtained a mean intersection over union (IoU) of 0.6591 for silt grains and 0.6642 for pores. We also compared our model with the random forest classifier using trainable Weka segmentation in ImageJ, and it was observed that MudrockNet gave better predictions for both silt grains and pores. The size, concentration, and spatial arrangement of the silt and clay grains can affect the petrophysical properties of a mudrock, and an automated method to accurately identify the different grains and pores in mudrocks can help improve reservoir and seal characterization for petroleum exploration and anthropogenic waste sequestration.

연구 동기 및 목표

• 수동적이고 사용자 중심의 세그멘테이션 워크플로우에 의존하지 않고, 미세모래석 SEM 이미지의 기공과 미세모래입자를 자동으로 의미적으로 세그멘테이션하는 딥러닝 기반 방법을 개발하는 것.
• 소음, 기능 간 회색조 겹침(예: 점토 대비 미세모래입자 대비 기공) 및 이미지 간 일관되지 않은 픽셀 강도와 같은 기존 세그멘테이션 기법의 과제를 해결하는 것.
• 고속, 반복 가능하고 확장 가능한 미세모래석의 미세구조적 특징 세그멘테이션을 가능하게 하여 디지털 암석물리 분석의 정확도와 효율성을 향상시키는 것.
• 복잡한 회색조 SEM 이미지에서 기존의 임계값 설정 및 랜덤 포레스트 기반 세그멘테이션보다 딥러닝 모델이 뛰어난 성능을 낼 수 있음을 입증하는 것.
• 재현 가능성을 높이고 향후 미세모래석 이미지 분석 분야의 발전을 지원하기 위해 공개된 트레이닝된 모델과 코드베이스를 제공하는 것.

제안 방법

• 모델는 밀도 예측을 위한 아트로스 스페이셜 피라미드 풀링(ASPP)과 인코더-디코더 아키텍처를 사용하는 최신 기술인 DeepLab-v3+ 아키텍처를 기반으로 한다.
• 모델는 일본 쿠마노 분지의 결합되지 않은 미세모래석 100장의 SEM 이미지 데이터셋을 사용해 훈련되었으며, 기존의 이미지 처리 워크플로우를 통해 참값 레이블이 생성되었다.
• 훈련은 텐서플로우 라이브러리를 사용했으며, 제한된 훈련 샘플에도 불구하고 일반화 능력을 향상시키기 위해 데이터 증강 기법이 적용되었다.
• 모델는 픽셀 단위의 교차 엔트로피 손실과 Adam 최적화를 사용해 원시 회색조 SEM 이미지에서 종합적인 특징 표현을 엔드 투 엔드로 학습한다.
• 추론 평가는 평균 교차율(IoU)과 픽셀 정확도를 사용했으며, ImageJ에서 Weka 기반 랜덤 포레스트 분류기와의 비교를 통해 수행되었다.
• 연결 요소 레이블링을 이용한 인스턴스 수준 세그멘테이션을 통해 개별 입자와 기공을 식별하기 위한 후처리 단계가 적용되었다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 복잡한 회색조 미세모래석 SEM 이미지에서 미세모래입자와 기공을 식별하는 데 있어 기존의 임계값 기반 세그멘테이션보다 더 높은 정확도를 달성할 수 있는가?
• RQ2 MudrockNet의 성능은 기존의 기계학습 분류기(예: 랜덤 포레스트)와 비교해 IoU 및 추론 속도 측면에서 어떻게 다른가?
• RQ3 딥러닝 모델은 미세입자 암석의 SEM 이미지에서 회색조 강도의 변동성과 이미징 잡음에 대해 어느 정도 일반화할 수 있는가?
• RQ4 학습 이미지 크기를 초월하는 대규모 SEM 이미지(예: 2048×1767 픽셀)를 높은 정밀도로 세그멘테이션할 수 있는가?
• RQ5 제한된 훈련 데이터와 겹치는 회색조 값이 모델의 일반화 능력과 예측 신뢰도에 어떤 영향을 미치는가?

주요 결과

• 테스트 데이터에서 MudrockNet은 미세모래입자에 대해 평균 IoU 0.6591, 기공에 대해 0.6642를 기록하여 복잡한 회색조 이미지에서 이들 특징을 효과적으로 식별함을 보였다.
• 모델는 미세모래입자 및 기공 세그멘테이션 모두에서 Weka 랜덤 포레스트 분류기보다 높은 IoU 값을 기록했으며, 유의미하게 빠른 추론 시간을 보였다.
• MudrockNet의 예측 시간은 1장당 0.218초였고, 기존 세그멘테이션 알고리즘 대비 7.767초로 35배 빠른 속도를 기록했다.
• 큰 크기의 테스트 이미지(15,000× 확대, 2048×1767 픽셀)에서 MudrockNet은 미세모래입자에 대해 IoU 0.739, 기공에 대해 0.682를 기록하여 대용량 이미지에 대한 강건성을 입증했다.
• 높은 정확도에도 불구하고, 제한된 훈련 데이터와 점토와의 회색조 겹침으로 인해 매우 작은 미세모래입자를 탐지하는 데 한계가 있었으며, 데이터 증강 또는 크기 기반 필터링이 필요할 것으로 제안되었다.
• 참값 데이터 자체에 수동 필터링 단계가 포함되어 있어 불확실성이 존재했으며, 이는 전문가 레이블링과 모델 예측 간의 불일치를 유발할 수 있었다.