[논문 리뷰] An Auxiliary Task for Learning Nuclei Segmentation in 3D Microscopy Images

P. B. Hirsch, Dagmar Kainmueller|arXiv (Cornell University)|2020. 02. 07.

Cell Image Analysis Techniques참고 문헌 18인용 수 9

한 줄 요약

이 논문은 세포핵의 질량중심을未지향하는 벡터를 예측하는 간단한 보조 작업을 제안하며, 이는 미세망역학 영상에서 3D 세포핵 분할 정확도를 크게 향상시킨다. U-Net 기반 모델에 통합할 경우, 이 접근법은 기준 모델과 최신 기술인 StarDist-3D를 모두 일관되게 능가하며, 특히 밀집된 세포핵 군집 상황에서 뛰어난 성능을 보인다.

ABSTRACT

Segmentation of cell nuclei in microscopy images is a prevalent necessity in cell biology. Especially for three-dimensional datasets, manual segmentation is prohibitively time-consuming, motivating the need for automated methods. Learning-based methods trained on pixel-wise ground-truth segmentations have been shown to yield state-of-the-art results on 2d benchmark image data of nuclei, yet a respective benchmark is missing for 3d image data. In this work, we perform a comparative evaluation of nuclei segmentation algorithms on a database of manually segmented 3d light microscopy volumes. We propose a novel learning strategy that boosts segmentation accuracy by means of a simple auxiliary task, thereby robustly outperforming each of our baselines. Furthermore, we show that one of our baselines, the popular three-label model, when trained with our proposed auxiliary task, outperforms the recent StarDist-3D. As an additional, practical contribution, we benchmark nuclei segmentation against nuclei detection, i.e. the task of merely pinpointing individual nuclei without generating respective pixel-accurate segmentations. For learning nuclei detection, large 3d training datasets of manually annotated nuclei center points are available. However, the impact on detection accuracy caused by training on such sparse ground truth as opposed to dense pixel-wise ground truth has not yet been quantified. To this end, we compare nuclei detection accuracy yielded by training on dense vs. sparse ground truth. Our results suggest that training on sparse ground truth yields competitive nuclei detection rates.

연구 동기 및 목표

• 세포핵 분할을 위한 고밀도 픽셀 단위 정답이 포함된 벤치마크 3D 현미경 데이터셋의 부족 문제를 해결하기 위해.
• 작은 예측 오차가 심각한 분할 실패를 유발할 수 있는 밀집된 세포핵 군집 상황에서 3D 세포핵 인스턴스 분할의 강건성을 향상시키기 위해.
• 희박한 중심점 레이블링으로 학습하는 것이 고밀도 분할 지도 학습에 비해 경쟁 가능한 검출 성능을 달성할 수 있는지 평가하기 위해.
• 간단한 보조 작업이 여러 최신 기술 기반 분할 아키텍처에서 성능 향상을 이끌 수 있음을 입증하기 위해.

제안 방법

• 학습 중 각 세포핵의 질량중심을未지향하는 3D 벡터를 예측하는 새로운 보조 작업을 도입한다.
• 주 분할 네트워크와 보조 벡터 예측 헤드를 함께 최적화하기 위해 복합 손실 함수를 사용한다.
• 기본 분할 아키텍처로 표준 U-Net 기반 구조를 사용하며, 보조 헤드는 각 픽셀에서 해당 세포핵 중심으로 향하는 정규화된 벡터를 예측한다.
• 보조 작업은 주 분할 작업과 함께 엔드 투 엔드로 학습되며, 예측된 벡터에 기반한 후처리에 의존하지 않는다.
• 수동으로 레이블링된 고밀도 픽셀 단위 정답이 포함된 28장의 3D 현미경 영상 데이터셋을 사용해 성능을 평가한다.
• 희박한 중심점 레이블링으로 학습한 모델과 고밀도 픽셀 단위 레이블링으로 학습한 모델 간의 검출 성능을 비교한다.

실험 결과

연구 질문

• RQ1 간단한 보조 작업이 3D 세포핵 분할 모델의 일반화 능력과 정확도를 향상시킬 수 있는가?
• RQ2 중심 방향 벡터 예측을 통한 학습이 밀집된 세포핵 군집에서의 분할 오차를 줄이는가?
• RQ3 희박한 중심점 레이블링으로 학습한 모델과 고밀도 픽셀 단위 레이블링으로 학습한 모델 간의 검출 성능는 어떻게 비교되는가?
• RQ4 제안된 보조 작업이 더 복잡한 아키텍처인 StarDist-3D보다 3D 세포핵 분할에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 보조 작업(cpv)은 모든 기준 모델에서 일관되게 분할 성능을 향상시키며, 3-label + cpv 모델이 평균 AP 0.909를 기록해 가장 높은 성능을 보였다.
• 3-label + cpv 모델은 StarDist-3D보다 평균 AP와 여러 IoU 임계치에서 뛰어난 성능을 보였으며, StarDist-3D가 더 복잡한 제안 기반 방법임을 감안할 때 놀라운 성과였다.
• 희박한 중심점 레이블링으로 학습한 모델은 검출 AP 0.895를 기록했으며, 이는 기준 분할 모델 수준의 성능를 보였지만, 보조 작업을 통한 학습 모델에 비해 열등했다.
• 가우스 회귀 모델의 검출 성능(AP 0.895)은 기준 분할 모델과 유사했지만, cpv 보조 작업을 통한 학습 모델에 비해 뒤처졌다.
• 예측된 벡터에 기반한 후처리 없이도 분할 성능 향상이 이루어졌으며, 이는 학습 중 특징 학습이 향상되었음을 시사한다.
• 최고 성능을 낸 모델(3-label + cpv)은 AP0.3가 0.907로 검출 AP와 매우 유사한 성능을 보였으며, 검출과 분할 성능 간의 강한 일치를 보였다.