[논문 리뷰] Instance Segmentation of Fibers from Low Resolution CT Scans via 3D Deep Embedding Learning

Tomasz Konopczyński, Thorben Kröger외 2명|arXiv (Cornell University)|2019. 01. 04.

Medical Imaging Techniques and ApplicationsMedicine인용 수 22

한 줄 요약

이 논문은 단순 유리섬유 강화 플라스틱의 저해상도 CT 스캔에서 섬유의 인스턴스 세분화를 위한 3D 딥 임베딩 학습 프레임워크를 제안한다. 3D 완전 컨volution 네트워크와 임베딩 브랜치, 병합 후처리 전략을 결합함으로써, 상태의 기술(SOTA) 수준의 인스턴스 세분화 성능을 달성하였으며, 병합된 조정랜드지수(Adjusted Rand Index)는 0.6529를 기록하여 도전적인 저해상도 데이터에서 전통적인 워터셰드 및 연결성 성분 방법을 능가하였다.

ABSTRACT

We propose a novel approach for automatic extraction (instance segmentation) of fibers from low resolution 3D X-ray computed tomography scans of short glass fiber reinforced polymers. We have designed a 3D instance segmentation architecture built upon a deep fully convolutional network for semantic segmentation with an extra output for embedding learning. We show that the embedding learning is capable of learning a mapping of voxels to an embedded space in which a standard clustering algorithm can be used to distinguish between different instances of an object in a volume. In addition, we discuss a merging post-processing method which makes it possible to process volumes of any size. The proposed 3D instance segmentation network together with our merging algorithm is the first known to authors knowledge procedure that produces results good enough, that they can be used for further analysis of low resolution fiber composites CT scans.

연구 동기 및 목표

• 저해상도 3D CT 스캔에서 단순 유리섬유 강화 플라스틱의 인스턴스 세분화 문제를 해결하기 위해, 기존 방법이 낮은 해상도로 인해 실패하는 상황을 다루고자 한다.
• 후속 기계적 성질 분석을 위해 개별 섬유를 정확하게 추출할 수 있는 딥 러닝 기반 방법을 개발하고자 한다.
• 밀집하게 배열된 얇은 섬유 구조에서 헤시안 기반 필터와 워터셰드 세분화의 한계를 극복하고자 한다.
• 섬유 복합재를 넘어서 볼륨 데이터 전반에 일반화 가능한 새로운 3D 인스턴스 세분화 프레임워크를 제안하고자 한다.
• 임의의 큰 볼륨에 대해 확장 가능한 성능과 견고성을 입증하기 위해, 병합 후처리 전략을 통해 대규모 데이터 처리의 가능성을 검증하고자 한다.

제안 방법

• 이 방법은 두 개의 병렬 브랜치를 가진 3D 완전 컨volution 네트워크를 활용한다: 하나는 의미 세분화를 위한 것이고, 다른 하나는 연속 공간에서 볼륨 요소의 임베딩을 학습하기 위한 것이다.
• 임베딩 브랜치는 동일한 섬유 클러스터에 属하는 볼륨 요소들이 임베딩 공간 내에서 가까이 오도록 매핑한다.
• 세분화된 영역 내에서 임베딩 표현에 k-means 클러스터링 알고리즘을 적용하여 각 볼륨 요소에 고유한 섬유 인스턴스를 할당한다.
• 대규모 데이터를 처리하기 위해 입력 볼륨의 겹치는 32×32×32 부분 볼륨을 처리하며, 인접한 부분 볼륨 간의 공간적 불일치를 해결하기 위한 고유한 병합 알고리즘을 사용한다.
• 병합 알고리즘은 분할을 피하고 병합을 선호함으로써, 겹치는 영역에서의 잘못된 분할을 줄여 일관성을 향상시킨다.
• 모델은 이진 교차엔트로피 손실(semantic segmentation용)과 삼중손실(triplet loss)을 조합한 병합 손실 함수를 사용하여 학습되며, 하이퍼파라미터 β=1 및 γ=0.001을 사용한다.

실험 결과

연구 질문

• RQ1 딥 임베딩 학습이 저해상도 CT 스캔에서 얇고 실형의 물체인 섬유의 3D 인스턴스 세분화에 효과적으로 적용될 수 있는가?
• RQ2 제안된 임베딩 기반 방법의 성능은 저해상도 SFRP 데이터에서 기존의 워터셰드 및 연결성 성분 기법과 비교해 어떻게 되는가?
• RQ3 의미 세분화 브랜치의 품질이 최종 인스턴스 세분화 정확도에 어느 정도 영향을 미치는가?
• RQ4 병합 전략은 겹치는 부분 볼륨 예측을 효과적으로 처리할 수 있으며, 심각한 아티팩트나 오류를 유발하지 않는가?
• RQ5 부분 볼륨 처리 및 병합을 통해 제안된 방법은 임의의 큰 3D 볼륨에 대해 확장 가능한가?

주요 결과

• 제안된 방법은 겹치는 부분 볼륨에서 평균 조정랜드지수(ARI) 0.9048을 달성하여, 병합 단위 성능이 뛰어나다는 것을 보여주었다.
• 겹치는 부분 볼륨을 병합한 후 ARI 점수는 0.6529로 감소하였으며, 밀접하게 배치된 섬유들 간의 모호한 경계를 해결하는 데서 비롯된 도전을 반영하였다.
• 예측 마스크 대신 진짜 의미 세분화 마스크를 사용할 경우, 병합된 ARI는 0.7817로 향상되었으며, 이는 의미 세분화 브랜치가 최종 인스턴스 정확도에 큰 영향을 미친다는 것을 시사한다.
• 기본적인 연결성 성분 방법은 진짜 의미 세분화 마스크를 사용함에도 불구하고 단지 0.2112의 병합 ARI를 기록하여 성능이 열악하다.
• 의미 세분화 브랜치만으로도 딱도스코어 0.9784를 달성하여, 높은 수준의 전경 예측 정확도를 확인하였다.
• 이 방법은 저해상도 SFRP CT 스캔에서 신뢰할 수 있는 인스턴스 세분화 결과를 도출한 것으로 알려진 최초의 접근법이며, 정량적·정성적 평가에서 모든 베이스라인 방법을 능가하였다.