[논문 리뷰] EmbedTrack -- Simultaneous Cell Segmentation and Tracking Through Learning Offsets and Clustering Bandwidths

Katharina Löffler, Ralf Mikut|arXiv (Cornell University)|2022. 04. 22.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

EmbedTrack는 픽셀별로 세포 중심으로의 오프셋과 학습 가능한 클러스터링 대역폭을 학습함으로써 세포 분할과 추적을 동시에 수행하는 단일 합성곱 신경망이다. 이는 아홉 개인 2D 세포 추적 벤치마크에서 최고 성능을 기록했으며, 일곱 개의 데이터셋에서 상위 3위 이내로 랭크되었고, 세 개의 1위를 차지했다.

ABSTRACT

A systematic analysis of the cell behavior requires automated approaches for cell segmentation and tracking. While deep learning has been successfully applied for the task of cell segmentation, there are few approaches for simultaneous cell segmentation and tracking using deep learning. Here, we present EmbedTrack, a single convolutional neural network for simultaneous cell segmentation and tracking which predicts easy to interpret embeddings. As embeddings, offsets of cell pixels to their cell center and bandwidths are learned. We benchmark our approach on nine 2D data sets from the Cell Tracking Challenge, where our approach performs on seven out of nine data sets within the top 3 contestants including three top 1 performances. The source code is publicly available at https://git.scc.kit.edu/kit-loe-ge/embedtrack.

연구 동기 및 목표

• 동시 세포 분할 및 추적을 위한 엔드 투 엔드 딥러닝 접근법의 부족을 해결한다.
• 재귀 네트워크와 복잡한 계층적 모델을 피함으로써 학습 효율성과 해석 가능성 향상을 도모한다.
• 세포 중심으로의 픽셀 오프셋과 적응형 클러스터링 대역폭을 학습함으로써 인간이 이해할 수 있는 임bedding을 가능하게 한다.
• 다양한 세포 수와 이동성의 2D 생체세포 영상 데이터셋에서 높은 성능을 달성한다.
• 실제 생물학적 영상 분석에 효율적이고 효과적인 경량 단일 모델 솔루션을 제공한다.

제안 방법

• ERFNet 기반 단일 CNN을 사용하여, 각 픽셀에 대해 가장 가까운 세포 중심으로의 오프셋 벡터와 학습 가능한 클러스터링 대역폭을 예측하는 분기된 헤드를 학습한다.
• 예측된 오프셋을 활용해 픽셀을 해당 세포 중심으로 클러스터링하도록 유도함으로써 인스턴스 인식 분할을 가능하게 한다.
• 학습된 대역폭을 사용하여 평균 이동 또는 k-median 알고리즘과 같은 클러스터링 알고리즘을 적용하여 픽셀을 개별 세포 인스턴스로 그룹화한다.
• 모든 영상 시퀀스를 엔드 투 엔드로 처리: 재귀 없이 단일 순방향 전파로 추론, 클러스터링, 추적을 수행한다.
• 오프셋과 대역폭의 기하학적 해석을 활용해 노이즈와 세포 겹침에 대한 강건성을 향상시킨다.
• 오프셋 회귀와 대역폭 예측를 조합한 다중 작업 손실을 최적화하여 동시 분할 및 추적을 달성한다.

실험 결과

연구 질문

• RQ1 단일 CNN이 해석 가능한 임bedding(오프셋과 대역폭)을 학습하여 정확한 분할과 강건한 추적을 가능하게 할 수 있는가?
• RQ2 재귀적이지 않고 엔드 투 엔드인 모델의 성능은 다양한 2D 세포 추적 데이터셋에서 계층적 또는 재귀적 접근법과 비교해 어떻게 되는가?
• RQ3 학습 가능한 대역폭이 세포 밀도와 이동성이 다양한 데이터셋 간의 클러스터링 강건성에 어느 정도 기여하는가?
• RQ4 복잡한 아키텍처 없이도 고세포 수와 고이동성 데이터셋 간의 일반화 성능을 유지할 수 있는가?
• RQ5 세포 중심으로의 오프셋을 포함한 임bedding의 해석 가능성은 생물학적 영상에서 모델 신뢰성 향상과 디버깅에 기여하는가?

주요 결과

• EmbedTrack는 Cell Tracking Challenge의 아홉 개 2D 데이터셋 중 세 개에서 1위 성과를 기록했다: BF-C2DL-HSC, BF-C2DL-MuSC, Fluo-N2DH-SIM+.
• 아홉 데이터셋 중 일곱 개에서 전체 F1 점수(OP CTB) 기준 상위 3위 이내로 랭크되어 강력한 일반화 능력을 입증했다.
• 모든 데이터셋을 합리적인 추론 시간 내에 처리했으며, 시퀀스 평균 프레임당 1.9초의 속도로, 총 처리 시간은 각 시퀀스당 약 2분에서 약 75분 사이였다.
• BF-C2DL-HSC와 BF-C2DL-MuSC와 같은 고이동성 데이터셋에서도 다른 방법들을 능가했으며, 가장 이동성이 높은 10%의 세포에서 겹침 비율이 낮아(예: 0.388 및 0.275) 이동에 대한 강건성을 입증했다.
• Fluo-N2DL-HeLa(마지막 프레임에 363개 세포)와 PhC-C2DL-PSC(498개 세포)와 같은 고세포 수 데이터셋에서도 탁월한 성능을 유지했으며, 핵심 지표에서 상위 3위를 기록했다.
• 해석 가능한 임bedding(세포 중심으로의 오프셋과 학습 가능한 대역폭)을 사용함으로써 재귀 구성 요소 없이도 효과적인 클러스터링이 가능했으며, 이는 학습 및 추론의 단순화에 기여했다.