[논문 리뷰] Deep Learning architectures for generalized immunofluorescence based nuclear image segmentation

Florian Kromp, Lukas Fischer외 6명|arXiv (Cornell University)|2019. 07. 30.

Cell Image Analysis Techniques참고 문헌 31인용 수 11

한 줄 요약

이 논문은 다양한 조직 유형과 제조 방법을 거쳐도 종단 간 인스턴스 인식이 가능한 세포핵 세분화를 위한 최신 딥러닝 아키텍처—U-Net, ResNet34 백본을 갖춘 U-Net, 그리고 Mask R-CNN—을 평가한다. Mask R-CNN는 후처리 없이도 높은 정밀도와 재현율을 달성하며, 특히 합성 데이터 증강과 일관된 애너테이션을 결합했을 때 가장 뛰어난 성능을 보였다.

ABSTRACT

Separating and labeling each instance of a nucleus (instance-aware segmentation) is the key challenge in segmenting single cell nuclei on fluorescence microscopy images. Deep Neural Networks can learn the implicit transformation of a nuclear image into a probability map indicating the class membership of each pixel (nucleus or background), but the use of post-processing steps to turn the probability map into a labeled object mask is error-prone. This especially accounts for nuclear images of tissue sections and nuclear images across varying tissue preparations. In this work, we aim to evaluate the performance of state-of-the-art deep learning architectures to segment nuclei in fluorescence images of various tissue origins and sample preparation types without post-processing. We compare architectures that operate on pixel to pixel translation and an architecture that operates on object detection and subsequent locally applied segmentation. In addition, we propose a novel strategy to create artificial images to extend the training set. We evaluate the influence of ground truth annotation quality, image scale and segmentation complexity on segmentation performance. Results show that three out of four deep learning architectures (U-Net, U-Net with ResNet34 backbone, Mask R-CNN) can segment fluorescent nuclear images on most of the sample preparation types and tissue origins with satisfactory segmentation performance. Mask R-CNN, an architecture designed to address instance aware segmentation tasks, outperforms other architectures. Equal nuclear mean size, consistent nuclear annotations and the use of artificially generated images result in overall acceptable precision and recall across different tissues and sample preparation types.

연구 동기 및 목표

• 다양한 조직 기원과 제조 프로토콜을 거쳐도 정확하고 인스턴스 인식이 가능한 세포핵 세분화 문제를 해결하기 위해.
• 원시 영상에서 직접 레이블이 부여된 객체 마스크를 예측하도록 딥러닝 모델을 훈련시켜 오류를 유발할 수 있는 후처리 단계를 제거하기 위해.
• 애너테이션 품질, 영상 스케일, 세분화 복잡도가 모델 성능에 미치는 영향을 조사하기 위해.
• 기존의 데이터 증강 기법을 넘어서 인공적 영상 생성을 활용한 새로운 데이터 증강 전략을 개발하고 검증하기 위해.

제안 방법

• 픽셀 단위의 세분화와 인스턴스 인식 예측을 위해 U-Net, ResNet34 백본을 갖춘 U-Net, 그리고 Mask R-CNN라는 세 가지 딥러닝 아키텍처를 훈련하고 비교하였다.
• 학습 데이터셋을 확장하고 모델의 일반화 능력을 향상시키기 위해 합성 영상 생성 기반의 새로운 데이터 증강 전략을 도입하였다.
• 다양한 생물학적 맥락에서의 모델 강건성 평가를 위해 여러 조직 유형과 샘플 제조 방법에서의 진정된 애너테이션을 활용하였다.
• 후처리 단계 없이 정확한 핵 경계와 구분 가능한 인스턴스 레이블을 예측할 수 있는 능력을 평가하였다.
• 성능 평가의 변동성을 줄이기 위해 일관된 핵 크기 정규화와 애너테이션 품질 제어를 적용하였다.
• 정밀도, 재현율, 평균 Dice 계수와 같은 지표를 사용하여 데이터셋 간 세분화 성능을 정량적으로 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝 아키텍처는 다양한 조직 유형과 제조 방법에서 후처리 없이도 고정밀도, 인스턴스 인식이 가능한 핵 세분화를 달성할 수 있는가?
• RQ2 진정된 애너테이션의 품질은 다양한 아키텍처 간 세분화 성능에 어떤 영향을 미치는가?
• RQ3 영상 스케일과 세분화 복잡도는 딥러닝 모델의 핵 세분화에서 일반화 능력에 어느 정도의 영향을 미치는가?
• RQ4 인위적으로 생성된 훈련 영상의 사용은 모델의 강건성과 새로운 조직 제조 방법에서의 성능 향상에 기여하는가?
• RQ5 U-Net, ResNet34 백본을 갖춘 U-Net, 또는 Mask R-CNN 중 어떤 딥러닝 아키텍처가 다양한 생물학적 샘플에서 가장 일관되고 정확한 결과를 제공하는가?

주요 결과

• Mask R-CNN는 모든 조직 유형과 제조 방법에서 가장 높은 세분화 성능를 기록했으며, U-Net과 ResNet34 백본을 갖춘 U-Net을 압도했다.
• 평가된 네 가지 아키텍처 중 세 가지(U-Net, ResNet34 백본을 갖춘 U-Net, Mask R-CNN)가 후처리 단계 없이도 만족스러운 세분화 결과를 도출했다.
• 핵 평균 크기의 균형과 일관된 애너테이션 품질은 다양한 데이터셋 간 정밀도와 재현율 향상에 크게 기여했다.
• 인위적으로 생성된 영상의 사용은 특히 데이터가 적은 환경이나 희귀 조직 유형에서 모델의 일반화 능력을 향상시켰다.
• 세분화 성능는 애너테이션 품질에 매우 민감했으며, 노이즈가 있거나 일관되지 않은 레이블은 모델 정확도를 떨어뜨렸다.
• 영상 스케일과 세분화 복잡도는 모델 성능에 측정 가능한 영향을 미쳤으며, 특히 U-Net 기반 모델은 높은 복잡도와 대규모 스케일 변화에서 어려움을 겪었다.