[논문 리뷰] Large-Scale Multi-Hypotheses Cell Tracking Using Ultrametric Contours Maps

Jordão Bragantini, Merlin Lange외 1명|arXiv (Cornell University)|2023. 08. 08.

Immunotherapy and Immune Responses인용 수 4

한 줄 요약

이 논문은 초음파 맵(UCMs)과 새로운 정수선형계획법(ILP) 설정을 사용하여 분할과 추적을 동시에 최적화하는 확장 가능한 대규모 3D 세포 추적 방법을 제안한다. 계층적 분할 가설을 활용하고 인접 프레임 간의 겹침을 최대화함으로써, Cell Tracking Challenge에서 최고 성능을 기록하며 2100만 개 이상의 세포 인스턴스를 포함한 테라바이트 규모의 데이터셋에까지 스케일링 가능하다. 이전의 ILP 기반 접근법보다 빠르고 효율적이며, 딥러닝 및 전통적 분할 모델 모두를 지원한다.

ABSTRACT

In this work, we describe a method for large-scale 3D cell-tracking through a segmentation selection approach. The proposed method is effective at tracking cells across large microscopy datasets on two fronts: (i) It can solve problems containing millions of segmentation instances in terabyte-scale 3D+t datasets; (ii) It achieves competitive results with or without deep learning, which requires 3D annotated data, that is scarce in the fluorescence microscopy field. The proposed method computes cell tracks and segments using a hierarchy of segmentation hypotheses and selects disjoint segments by maximizing the overlap between adjacent frames. We show that this method achieves state-of-the-art results in 3D images from the cell tracking challenge and has a faster integer linear programming formulation. Moreover, our framework is flexible and supports segmentations from off-the-shelf cell segmentation models and can combine them into an ensemble that improves tracking. The code is available https://github.com/royerlab/ultrack.

연구 동기 및 목표

• 테라바이트 규모의 시간경과 영상 현미경 데이터셋에서 수백만 개의 분할 인스턴스를 포함하는 대규모 3D 세포 추적 문제를 해결하기 위해.
• 고품질의 3D 레이블 데이터가 부족한 형광 현미경에서 흔한 문제를 줄이기 위해 분할과 추적을 동시에 최적화하는 프레임워크를 개발하기 위해.
• 생물학적 제약(예: 세포 분열이 두 개로 나뉘는 것)을 반영한 계산 효율적인 ILP 설정을 통해 대규모 데이터셋의 메모리 초과 처리를 가능하게 하기 위해.
• 딥러닝 및 전통적 분할 모델을 모두 통합하여 앙상블을 구성함으로써 추적의 강건성을 향상시키기 위해.
• 지나친 지표 데이터(annotation)가 필요하지 않으면서도 높은 분할 정확도와 추적 정확도를 유지하는 유연하고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 초음파 맵(UCMs)을 사용해 다양한 스케일에서 중첩된 분할 가설의 계층을 구축한다.
• 인접 프레임 간의 겹침을 최대화하면서도 생물학적 제약(예: 세포 분열이 두 개로 나뉘는 것)을 만족시키는 조건 하에, 서로 겹치지 않는 세그먼트 선택 문제를 정수선형계획법(ILP)으로 설정한다.
• 문제 크기와 비례하여 하위선형적으로 증가하는 런타임을 가지는 새로운 빠른 설정을 통해 ILP를 최적화하며, 런타임 대 시간 윈도우 크기의 기울기는 1.37 ± 0.06이다.
• 사전 제작된 분할 모델(예: U-Net)을 통합할 수 있으며, UCM 기반 융합을 통해 그 출력을 앙상블로 조합한다.
• SLURM을 사용한 컴퓨팅 클러스터에서 분산 및 외부 메모리 기반 처리 방식을 적용하여, 3.4TB 크기의 데이터셋(791×448×2174×2423 벽체)을 처리한다.
• 두 단계 추적 전략을 적용한다: 첫 번째 단계는 초기 트랙 할당, 두 번째 단계는 정밀 조정이며, GPU 가속 컨투어 검출과 CPU 기반 처리를 조합하여 확장성을 확보한다.

Figure 1 : Example of hierarchy filtering by minimum size, maximum size, and contour strength; dashed lines show deleted elements. Leaves of the hierarchy are not shown.

실험 결과

연구 질문

• RQ1 계층적 UCM 기반의 분할과 추적 통합 프레임워크는 고비용 3D 레이블 데이터에 의존하지 않고도 대규모 3D 현미경 데이터셋에서 최고 성능을 달성할 수 있는가?
• RQ2 점차 커지는 시간 윈도우를 처리할 때, 제안된 ILP 설정은 기존의 ILP 기반 추적 방법에 비해 효율성과 확장성 면에서 어떻게 비교되는가?
• RQ3 UCM 공간에서의 앙상블 융합을 통해 다양한 분할 모델(딥러닝 및 전통적 방법 포함)을 얼마나 효과적으로 활용할 수 있는가?
• RQ4 실제로 테라바이트 규모의 3D+t 데이터셋에 대해 2000만 개 이상의 세포 인스턴스를 처리하면서도 높은 정확도와 계산 가능성을 유지할 수 있는가?
• RQ5 UCM의 사용이 복잡하고 밀도 높은 세포 추적 상황에서 표준 이산 레이블 분할에 비해 더 높은 강건성과 유연성을 제공하는가?

주요 결과

• 논문은 Cell Tracking Challenge 벤치마크에서 네 개 데이터셋 중 두 개에서 최고 성능을 기록하여 다양한 생물학적 데이터셋에 대한 뛰어난 일반화 능력을 입증하였다.
• 제안된 ILP 설정은 시간 윈도우 크기 대비 런타임 기울기가 1.37 ± 0.06을 기록하여, Türetken et al.(1.75 ± 0.12)와 Malin-Mayor et al.(1.84 ± 0.06)에 비해 유의미하게 뛰어난 확장성과 효율성을 보였다.
• 2150만 개의 세포 인스턴스를 포함한 3.4TB 제브라피쉬 배아 데이터셋을 100개의 CPU 코어와 20개의 GPU를 사용해 분산 컴퓨팅으로 약 9.5시간 만에 성공적으로 추적 처리하였다.
• 알고리즘은 고품질의 분할 및 추적 결과를 도출하였으며, 최대 강도 투영, YX 및 ZY 평면에서의 슬라이스 기반 분할과 함께 정확한 3D 렌더링 결과를 보여주었다.
• 프레임워크는 U-Net을 편의 레이블 데이터에서 훈련한 결과를 포함한 여러 분할 모델을 통합하여 UCM 기반의 통합 앙상블로 구성함으로써 강건성을 입증하였다.
• 분할과 추적을 동시에 최적화함으로써 고품질 3D 레이블 데이터에 대한 의존도를 감소시켰으며, 지표 데이터가 없을 경우에도 성능 향상을 이룰 수 있었다.

Figure 2 : Example of linkage between two hierarchies and their weights matrix $w_{..}$ which includes all $w_{p,q}$ . Solution considering $w_{..}$ in blue and in red solution of $w^{p}_{..}$ when $p>=2$ .