[논문 리뷰] Deep Learning Based Instance Segmentation in 3D Biomedical Images Using Weak Annotation

Zhuo Zhao, Lin Yang외 4명|arXiv (Cornell University)|2018. 06. 28.

Medical Image Segmentation Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 모든 인스턴스에 대해 3D 경계 상자만 사용하고, 소수의 인스턴스에 대해서만 전체 바이트 마스크를 사용하는 이중 단계 3D 인스턴스 세그멘테이션 프레임워크를 제안한다. 이는 주로 애너테이션 작업 시간을 크게 줄여준다. 제안된 방법은 완전히 감독된 모델과 유사한 성능을 달성하면서도 훨씬 적은 애너테이션 시간을 사용하며, 유사한 애너테이션 제약 조건 하에서 기존 방법들을 능가한다.

ABSTRACT

Instance segmentation in 3D images is a fundamental task in biomedical image analysis. While deep learning models often work well for 2D instance segmentation, 3D instance segmentation still faces critical challenges, such as insufficient training data due to various annotation difficulties in 3D biomedical images. Common 3D annotation methods (e.g., full voxel annotation) incur high workloads and costs for labeling enough instances for training deep learning 3D instance segmentation models. In this paper, we propose a new weak annotation approach for training a fast deep learning 3D instance segmentation model without using full voxel mask annotation. Our approach needs only 3D bounding boxes for all instances and full voxel annotation for a small fraction of the instances, and uses a novel two-stage 3D instance segmentation model utilizing these two kinds of annotation, respectively. We evaluate our approach on several biomedical image datasets, and the experimental results show that (1) with full annotated boxes and a small amount of masks, our approach can achieve similar performance as the best known methods using full annotation, and (2) with similar annotation time, our approach outperforms the best known methods that use full annotation.

연구 동기 및 목표

• 3D 생물의학적 인스턴스 세그멘테이션을 위한 높은 애너테이션 비용과 시간을 해결하기 위해.
• 매우 시간이 오래 걸리고 대규모 3D 생물의학 데이터셋에는 현실적으로 불가능한 전체 바이트 마스크 애너테이션에 대한 의존도를 줄이기 위해.
• 3D 경계 상자와 제한된 전체 마스크 애너테이션을 통해 약한 감독을 활용하는 실용적이고 종단 간 3D 인스턴스 세그멘테이션 모델을 개발하기 위해.
• 최소한의 전체 마스크 애너테이션으로도 약한 감독 학습이 완전히 감독된 방법과 동등한 성능을 달성할 수 있음을 입증하기 위해.
• 전문가의 애너테이션 부담을 최소화하여 대규모 3D 생물의학 영상에서 더 빠르고 확장 가능한 3D 인스턴스 세그멘테이션을 가능하게 하기 위해.

제안 방법

• 이중 단계 3D 인스턴스 세그멘테이션 모델을 제안한다: 첫 번째 단계에서 3D 객체 검출기가 3D 경계 상자 애너테이션을 사용해 모든 인스턴스를 검출하고, 두 번째 단계에서 3D 바이트 세그멘테이션 헤드가 검출된 인스턴스 중 소수의 인스턴스에 대해 전체 바이트 마스크를 사용한다.
• VoxRes 블록을 활용하여 전방 및 역방향 방향으로 직접 특징 전파를 가능하게 하여 3D 볼륨 네트워크 내 특징 학습을 향상시킨다.
• 3D 객체 검출기는 3D에 적합하게 수정된 영역 제안 네트워크(RPN)를 기반으로 하며, 앵커 기반 예측을 통해 상자 좌표와 분류 점수를 산출한다.
• 다중 작업 손실 함수는 분류 손실(로그 손실)과 회귀 손실(부드러운 L1)을 조합하여 3D 경계 상자 예측을 수행하며, 탐지 및 정렬을 균형 있게 조정하기 위해 가중치 합을 사용한다.
• 두 번째 단계에서 RoIAlign을 적용하여 3D 특징 맵에서 추출된 특징들을 검출된 경계 상자에 정렬함으로써 마스크 예측 정확도를 향상시킨다.
• 전체 바이트 마스크의 소수의 비율(히스토그램 60세포의 경우 20%, 미크로글리아의 경우 30%)과 모든 인스턴스에 대한 완전한 경계 상자 애너테이션을 사용하여 약한 감독 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모든 인스턴스에 대해 3D 경계 상자만 사용하고 일부 인스턴스에 대해 희박한 전체 바이트 마스크를 사용할 경우, 3D 인스턴스 세그멘테이션 모델이 높은 성능을 달성할 수 있는가?
• RQ2 유사한 애너테이션 시간 제약 조건 하에서 제안된 이중 단계 약한 감독 접근 방식이 완전히 감독된 방법보다 성능이 뛰어나게 되는가?
• RQ3 더 강력한 인스턴스 수준 정보를 담고 있는 경계 상자 애너테이션을 사용할 경우, 전체 마스크 애너테이션보다 탐지 성능에 어떤 영향을 미치는가?
• RQ4 제한된 전체 마스크를 사용하는 약한 감독 방식이 완전히 애너테이션된 모델과 비교해 얼마나 경쟁력 있는 세그멘테이션 정확도를 유지하는가?
• RQ5 다양한 인스턴스 밀도와 복잡도를 가진 다양한 3D 생물의학 데이터셋에 대해 모델이 일반화 가능한가?

주요 결과

• 히스토그램 60세포 데이터셋에서, 전체 마스크 애너테이션 비율이 20%인 제안된 방법은 탐지 F1 스코어 0.9783과 세그멘테이션 F1 스코어 0.8927을 기록했으며, 유사한 애너테이션 시간 내에서 완전히 애너테이션된 기준 모델을 초월했다.
• 단지 5.5시간의 애너테이션 시간으로도 탐지 F1이 0.9783에 도달했으며, 22.5시간이 소요된 완전히 애너테이션된 VoxResNet 모델을 뛰어넘었다.
• 미크로글리아 데이터셋에서 전체 마스크 애너테이션 비율이 30%인 방법은 세그멘테이션 F1 스코어 0.8424를 기록했으며, 유사한 애너테이션 시간(54.7시간 대비 172.9시간) 내에서 완전히 애너테이션된 VoxResNet 모델(F1 = 0.8484)을 능가했다.
• C. elegans 데이터셋에서는 단지 67개의 전체 마스크와 1,527개의 경계 상자만으로도 탐지 F1 스코어가 0.9495에 도달하여, 희박한 마스크 레이블링에도 불구하고 뛰어난 탐지 성능을 입증했다.
• 애너테이션 시간이 제약을 받는 조건에서 완전히 애너테이션된 모델보다 성능이 뛰어나므로, 경계 상자와 희박한 마스크를 활용한 약한 감독이 훨씬 효율적이고 효과적임을 입증했다.
• 경계 상자 애너테이션을 탐지에 사용하고 희박한 마스크를 보정에 활용함으로써, 애너테이션 비용을 크게 줄이고도 높은 성능을 달성할 수 있으며, 이는 대규모 생물의학 영상에서 3D 인스턴스 세그멘테이션을 실용적으로 가능하게 한다.