[논문 리뷰] Joint Cell Nuclei Detection and Segmentation in Microscopy Images Using 3D Convolutional Networks

Sundaresh Ram, Vicky T. Nguyen외 2명|arXiv (Cornell University)|2018. 05. 08.

AI in cancer detection참고 문헌 12인용 수 6

한 줄 요약

이 논문은 먼저 세포체를 분할하고 나서 중심을 식별함으로써 공형 현미경 영상에서 세포핵을 동시에 검출하고 분할하는 3D 컨volution 신경망을 제안한다. 쥐의 타액선 데이터셋에서 엔드 투 엔드로 훈련된 이 방법은 최신 기술들보다 뛰어난 검출 및 분할 정확도를 달성하며, 테스트 시점 드롭아웃을 통해 예측 정확도와 관련된 불확실성 추정치를 제공한다.

ABSTRACT

We propose a 3D convolutional neural network to simultaneously segment and detect cell nuclei in confocal microscopy images. Mirroring the co-dependency of these tasks, our proposed model consists of two serial components: the first part computes a segmentation of cell bodies, while the second module identifies the centers of these cells. Our model is trained end-to-end from scratch on a mouse parotid salivary gland stem cell nuclei dataset comprising 107 image stacks from three independent cell preparations, each containing several hundred individual cell nuclei in 3D. In our experiments, we conduct a thorough evaluation of both detection accuracy and segmentation quality, on two different datasets. The results show that the proposed method provides significantly improved detection and segmentation accuracy compared to state-of-the-art and benchmark algorithms. Finally, we use a previously described test-time drop-out strategy to obtain uncertainty estimates on our predictions and validate these estimates by demonstrating that they are strongly correlated with accuracy.

연구 동기 및 목표

• 3D 공형 현미경 영상에서 세포핵 검출과 분할 간의 상호의존적인 특성을 해결하기 위해.
• 기존 방법보다 더 정확하게 두 작업을 동시에 수행할 수 있는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 쥐의 췌샘 타액선 줄기세포 핵을 담은 3D 데이터셋에서 엔드 투 엔드로 처음부터 훈련된 모델을 개발하기 위해.
• 검출 및 분할 품질에 대해 두 개의 별도 데이터셋에서 모델 성능을 평가하기 위해.
• 테스트 시점 드롭아웃을 도입해 불확실성 추정치를 제공하고, 이와 실제 예측 정확도 간의 상관관계를 검증하기 위해.

제안 방법

• 모델은 이중 단계 3D U-Net 유사 아키텍처를 사용한다: 첫 번째 단계는 세포핵의 3D 의미 분할을 수행한다.
• 두 번째 단계는 분할 특징에서 중심점을 예측하는 회귀 헤드를 사용해 세포 중심을 검출한다.
• 분할 및 중심 검출 목표를 동시에 최적화하는 병합 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 예측 불확실성 추정치를 생성하기 위해 테스트 시점 드롭아웃을 적용한다.
• 실제 예측 정확도와의 강한 상관관계를 통해 불확실성 추정치의 타당성을 검증한다.
• 모델은 세 개의 독립적인 제조 준비에서 유래한 107개의 이미지 스택(각각 수백 개의 3D 핵 포함)에서 훈련된다.

실험 결과

연구 질문

• RQ1 단일 3D 컨볼루션 네트워크가 공형 현미경 영상에서 세포핵의 동시 검출 및 분할을 효과적으로 수행할 수 있는가?
• RQ2 제안된 엔드 투 엔드 훈련 전략은 기존의 이중 단계 또는 별도의 접근 방식에 비해 검출 및 분할 정확도 측면에서 어떻게 비교되는가?
• RQ3 테스트 시점 드롭아웃이 세포핵 분석에서 예측 신뢰도와 관련된 의미 있는 불확실성 추정치를 제공할 수 있는가?
• RQ4 이 모델은 다양한 이미징 조건과 세포 밀도를 가진 다른 데이터셋 간에 잘 일반화되는가?
• RQ5 특히 순차적인 분할 및 중심 검출 아키텍처 설계가 전체 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 두 개의 별도 데이터셋에서 최신 기술 및 기준 알고리즘에 비해 유의미하게 향상된 검출 및 분할 정확도를 달성한다.
• 테스트 시점 드롭아웃을 통해 유도된 모델의 불확실성 추정치는 실제 예측 정확도와 강하게 상관되어 있어 그 신뢰성을 검증한다.
• 쥐의 췌샘 타액선 핵을 담은 3D 데이터셋에서 처음부터 엔드 투 엔드로 훈련함으로써 사전 훈련 없이도 강력한 성능을 발휘한다.
• 통합 아키텍처는 분할과 검출 간의 상호의존성을 효과적으로 포착하여 별도로 처리하는 접근보다 더 정확한 결과를 이끈다.
• 다양한 이미지 스택 및 생물학적 제조 준비 간에서 모델은 잘 일반화되어 있으며, 다양한 3D 현미경 데이터에서 일관된 성능을 보여준다.