[논문 리뷰] Joint Multi-frame Detection and Segmentation for Multi-cell Tracking

Zibin Zhou, Fei Wang외 4명|arXiv (Cornell University)|2019. 06. 26.

Cell Image Analysis Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 다중 프레임 입력을 활용한 UNet 기반의 공동 다중 프레임 검출 및 분할 프레임워크를 제안하여 다세포 추적 성능을 향상시킨다. 미토시스 세포 검출을 향상시키기 위해 다중 프레임 입력을 활용한 UNet을 도입하고, 1차 분할을 위해 별도의 UNet을 사용한다. 검출 및 분할 결과를 융합함으로써 Fluo-Hela 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, 특히 분할 정확도와 통합 추적 성능에서 뛰어난 성과를 보였다.

ABSTRACT

Tracking living cells in video sequence is difficult, because of cell morphology and high similarities between cells. Tracking-by-detection methods are widely used in multi-cell tracking. We perform multi-cell tracking based on the cell centroid detection, and the performance of the detector has high impact on tracking performance. In this paper, UNet is utilized to extract inter-frame and intra-frame spatio-temporal information of cells. Detection performance of cells in mitotic phase is improved by multi-frame input. Good detection results facilitate multi-cell tracking. A mitosis detection algorithm is proposed to detect cell mitosis and the cell lineage is built up. Another UNet is utilized to acquire primary segmentation. Jointly using detection and primary segmentation, cells can be fine segmented in highly dense cell population. Experiments are conducted to evaluate the effectiveness of our method, and results show its state-of-the-art performance.

연구 동기 및 목표

• 세포가 서로 유사하고 자주 미토시스를 겪는 고밀도 및 형태학적으로 다양성이 큰 세포 집합에서의 다중 세포 추적 성능 향상.
• 작고 서로 가까이 밀집된 세포를 추적하기 위한 과제를 해결하기 위해 다중 프레임 시간적 맥락을 활용해 검출의 강건성을 향상시키기.
• 검출 및 분할 출력을 모두 활용하여 겹치거나 가까이 붙어 있는 세포를 정밀하게 분리할 수 있는 정밀 분할 방법 개발.
• 특히 분할 및 통합 추적 정확도에서 최신 기술 수준의 성능을 달성하기 위해 기준 데이터셋에서 최고의 성능 확보.

제안 방법

• 세포 중심점 검출을 위해 다중 프레임 UNet을 사용하며, 연속된 3개의 프레임에서 시공간적 특징을 통합하여 미토시스 세포 검출 성능 향상.
• 1차 세포 분할을 위해 별도의 UNet을 활용하여 영상 시퀀스에서 초기 인스턴스 수준의 세포 마스크 생성.
• 개선된 중심점 검출 기반으로 세포 분열 사건을 검출하는 미토시스 검출 알고리즘 적용을 통해 계보 추적 가능.
• 정밀 분할은 중심점 검출 및 분할 출력을 융합하여 수행되며, 추적 일관성과 공간적 근접성을 기반으로 개별 세포 식별.
• 검출 및 분할 결과를 다중 단계 추적기로 융합하여 공간적 및 시간적 사전 지식을 활용해 프레임 간 정체성 할당.
• 메트릭으로 TRA, SEG, OP CTB를 사용하여 Cell Tracking Benchmark에서 학습 및 평가 수행.

실험 결과

연구 질문

• RQ1 다중 프레임 입력이 고밀도 세포 집합에서 미토시스 세포 검출 성능 향상에 기여하는가?
• RQ2 검출 및 분할의 공동 사용이 매우 혼잡한 영역에서 세포의 정밀 분리에 어떻게 기여하는가?
• RQ3 다중 프레임 UNet을 통한 시공간 모델링이 단일 프레임 기반 기준 모델 대비 추적 강건성 향상에 얼마나 기여하는가?
• RQ4 제안된 방법이 Fluo-Hela 및 Phc-PSC와 같은 기준 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 1차 분할 품질이 최종 정밀 분할 및 추적 정확도에 미치는 영향은 어떠한가?

주요 결과

• Fluo-Hela 데이터셋에서 94.2%의 OP CTB 및 91.9%의 SEG 정확도를 기록하여 최신 기술 수준 성능 달성, SEG에서는 1위, OP CTB에서는 3위 기록.
• Phc-PSC에서 TRA 95.9%를 기록하여 추적 정확도에서 1위 기록, 고밀도 세포 추적 과제에 대해 뛰어난 성능 입증.
• Phc-PSC에서 미토시스 검출 F1 스코어가 단일 프레임 기반 41.1%에서 3프레임 입력 기반 61.5%로 향상되어 시간적 맥락의 유의미한 기여 확인.
• Fluo-SIM+ 및 Fluo-GOWT1에서는 성능이 다소 열악하여 저대비 또는 극도로 변동성이 큰 영상 조건 처리에 한계 존재.
• 정밀 분할이 겹치는 세포를 성공적으로 분리하고, 세포가 부분적으로 사라지거나 배경과 대비가 낮을 경우에도 정확도 유지.
• 특히 분할 및 통합 성능 메트릭에서 기존 베이스라인인 TUG-AT 및 BGU-IL을 뛰어넘는 성능 확보.