[논문 리뷰] Cell Segmentation by Combining Marker-Controlled Watershed and Deep Learning

Filip Lux, Petr Matula|arXiv (Cornell University)|2020. 04. 03.

Cell Image Analysis Techniques참고 문헌 51인용 수 14

한 줄 요약

이 논문은 세포 마커와 이미지 프론트포함을 예측하는 두 개의 U-Net 기반 합성곱 신경망(CNN)을 사용하여 마커 제어 워터셰 변환을 조합하는 새로운 세포 분할 방법을 제안한다. 이 방법은 세 가지 다양한 세포 추적 챌린지 데이터셋에서 최신 기술 수준의 성능을 달성하며, 예측된 분할 함수와 강성 있는 데이터 증강을 활용하여 기준 방법 대비 분할 정확도를 크게 향상시킨다.

ABSTRACT

We propose a cell segmentation method for analyzing images of densely clustered cells. The method combines the strengths of marker-controlled watershed transformation and a convolutional neural network (CNN). We demonstrate the method universality and high performance on three Cell Tracking Challenge (CTC) datasets of clustered cells captured by different acquisition techniques. For all tested datasets, our method reached the top performance in both cell detection and segmentation. Based on a series of experiments, we observed: (1) Predicting both watershed marker function and segmentation function significantly improves the accuracy of the segmentation. (2) Both functions can be learned independently. (3) Training data augmentation by scaling and rigid geometric transformations is superior to augmentation that involves elastic transformations. Our method is simple to use, and it generalizes well for various data with state-of-the-art performance.

연구 동기 및 목표

• 경계 대trast가 낮고 신호 대 잡음 비율이 낮은 현미경 영상에서 밀집하고 형태학적으로 복잡한 세포를 분할하는 데 지속적으로 도전하는 문제를 해결한다.
• 단독으로 사용되는 딥 러닝(예: U-Net)의 한계(예: 붙어 있는 세포를 분리하는 데 어려움)와 전통적인 워터셰 방법의 마커 및 분할 함수 정의의 한계를 극복한다.
• 다양한 영상 모odalities에서 분할 정확도를 향상시키기 위해 딥 러닝과 수학적 형태학을 통합한 일반화 가능하고 견고한 파ipeline을 개발한다.
• 훈련 데이터 증강 전략, 마커 정의 방법, 다중 작업 학습이 분할 성능에 미치는 영향을 조사한다.

제안 방법

• 각 픽셀에 대해 세포 마커일 확률과 세포 프론트포함(이미지 마스크)일 확률을 예측하기 위해 두 개의 별도된 U-Net 스타일 CNN을 사용한다.
• 형태학적 연산(에로ージョン 및 거리 변환 포함)을 통해 CNN 예측 결과를 마커 함수로 변환하여 신뢰할 수 있는 세포 중심을 정의한다.
• 예측된 프론트포함 확률을 기반으로 분할 함수를 생성하여 워터셰 변환을 통해 세포 경계를 명확히 한다.
• 계산된 마커 함수와 분할 함수를 사용하여 마커 제어 워터셰 분할을 적용하여 최종 세포 인스턴스 분할 결과를 도출한다.
• 형태학적 연산자를 사용하여 CNN 출력을 유효한 워터셰 입력으로 변환하여 공간 일관성을 확보하고 예측의 노이즈를 줄인다.
• 스케일링 및 강성 있는 기하학적 변환(회전, 반전)을 통한 훈련 데이터 증강을 활용하여 일반화 성능을 향상시키며, 탄성 왜곡보다 우수한 성능을 기록한다.

실험 결과

연구 질문

• RQ1 딥 러닝을 통해 마커 함수와 분할 함수를 동시에 예측하는 것이 단일 함수만 사용하는 것보다 세포 분할 정확도를 향상시키는가?
• RQ2 마커 함수와 분할 함수를 성능 저하 없이 독립적으로 학습시킬 수 있는가? 이는 다양한 애너테이션 유형을 활용한 탄력적인 훈련을 가능하게 한다.
• RQ3 데이터 증강 전략의 선택(특히 강성 변환 대 탄성 왜곡)이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 마커 애너테이션 유형(완전한 마커 vs. 약한 마커)과 에로젼 파rameter가 검출 정확도와 견고성에 미치는 영향은 어떠한가?
• RQ5 다중 작업 학습(한 개의 네트워크가 마커와 프론트포함을 동시에 예측)이 별도의 네트워크보다 유의미한 성능 향상을 제공하는가?

주요 결과

• 워터셰 마커 함수와 분할 함수를 동시에 예측함으로써 분할 정확도가 크게 향상되었으며, DIC 데이터셋에서는 디스크 스코어가 약 3%p 향상되었고, PhC 데이터셋에서는 2.4%p 향상되었다. 이는 거리 기반 분할 함수보다 유의미한 개선이다.
• 이 방법은 세 가지 세포 추적 챌린지 데이터셋(DIC, PhC, 및 다른 하나)에서 세포 검출 및 분할 성능 모두 최상위 성능을 기록했으며, 공개 벤치마크에서 1위 또는 2위를 차지했다.
• 탄성 왜곡을 포함한 증강 전략 대비 강성 기하학적 변환(스케일링, 회전, 반전)만을 사용한 훈련이 더 뛰어난 성능을 보였으며, 이는 강성 증강이 세포 형태를 더 잘 유지하고 일반화 능력을 향상시킨다는 것을 시사한다.
• 정확한 세포 중심 레이블링이 포함된 완전한 애너테이션에서 유도된 마커는 복잡한 형태의 세포에서 약한 애너테이션보다 뛰어난 검출 성능을 보였다.
• 에로젼 파rameter $k$(세포 지름 대 마커 지름 비율)는 성능에 미미한 영향을 미치며, $k = 0.4$에서 $0.6$의 범위에서 안정적인 결과를 보여, 마커 크기 변화에 대해 강건함을 시사한다.
• 다중 작업 학습은 별도의 네트워크보다 성능 향상이 유의미하지 않았으며, 딱 0.003 이내의 딱딱한 딱지 스코어 차이를 보였다. 이는 모듈성과 애너테이션의 탄력성 향상을 위해 두 개의 독립된 CNN을 사용하는 것이 타당하다는 것을 정당화한다.