[논문 리뷰] CellTrack R-CNN: A Novel End-To-End Deep Neural Network for Cell Segmentation and Tracking in Microscopy Images

Yuqian Chen, Yang Song외 5명|arXiv (Cornell University)|2021. 02. 20.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 4

한 줄 요약

CellTrack R-CNN는 Siamese 네트워크를 Mask R-CNN에 통합하여 세포 분할과 추적을 통합하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 학습된 상대 위치 인코딩을 통해 추적 성능을 향상시킨다. DeepCell 벤치마크에서 97.14%의 검출 정확도, 85.26%의 분할 정확도, 97.05%의 추적 정확도를 기록하여 최신 기술 수준을 확립한다.

ABSTRACT

Cell segmentation and tracking in microscopy images are of great significance to new discoveries in biology and medicine. In this study, we propose a novel approach to combine cell segmentation and cell tracking into a unified end-to-end deep learning based framework, where cell detection and segmentation are performed with a current instance segmentation pipeline and cell tracking is implemented by integrating Siamese Network with the pipeline. Besides, tracking performance is improved by incorporating spatial information into the network and fusing spatial and visual prediction. Our approach was evaluated on the DeepCell benchmark dataset. Despite being simple and efficient, our method outperforms state-of-the-art algorithms in terms of both cell segmentation and cell tracking accuracies.

연구 동기 및 목표

• 후처리 없이 세포 분할과 추적을 동시에 수행하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• 저품질 현미경 영상에서 외관이 유사하고 형태가 변형되는 세포를 추적하는 과제를 해결하는 것.
• 이웃 세포의 상대 위치 인코딩을 통해 공간적 맥락을 통합하여 추적 정확도를 향상시키는 것.
• DeepCell 벤치마크 데이터셋에서 최신 기술 수준의 방법들과 비교하여 열등하지 않은 성능을 입증하는 것.

제안 방법

• Mask R-CNN 아키텍처에 Siamese 네트워크 브랜치를 통합하여 연속 프레임 간 엔드 투 엔드 세포 추적을 가능하게 한다.
• 공간적 맥락을 표현하기 위해 타겟 세포와 그 n개의 가장 가까운 이웃 세포 간의 x- 및 y-좌표 차이를 상대 위치 인코딩으로 사용한다.
• 공간적 특징 벡터를 정규화하고 추적 헤드에서 시각적 특징과 융합하여 인스턴스 매칭 성능을 향상시킨다.
• 백본으로 ResNet-50-FPN를 사용하고 SGD 옵티마이저를 적용하여 두 개의 연속 프레임 미니배치를 사용해 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• Siamese 네트워크의 공유 가중치를 가진 추적 헤드를 활용해 연속 프레임의 세포 특징 임베딩 간 유사도 점수를 계산한다.
• 검증 세트에서 0.1로 최적화된 가중치 매개변수 α를 사용하여 추론 시 시각적 및 공간적 특징을 가중 융합한다.

실험 결과

연구 질문

• RQ1 후처리 없이 엔드 투 엔드 딥 러닝 프레임워크가 현미경 영상에서 세포 분할과 추적을 효과적으로 통합할 수 있는가?
• RQ2 상대 위치 인코딩을 통한 공간적 맥락 통합이 도전적인 현미경 조건에서 세포 추적 성능을 어떻게 향상시키는가?
• RQ3 시각적 특징뿐 아니라 공간적 특징을 융합하면 시각적 특징에만 의존하는 방법보다 더 높은 추적 정확도를 달성하는가?
• RQ4 세분화, 검출, 추적 성능 측면에서 제안된 방법은 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 냅니다?

주요 결과

• CellTrack R-CNN는 DeepCell 벤치마크 데이터셋에서 97.14%의 검출 정확도, 85.26%의 분할 정확도, 97.05%의 추적 정확도를 기록한다.
• 검출 정확도와 추적 정확도의 차이가 0.09로 줄어들어, 검출 성능에 비해 추적 성능 저하가 최소한임을 시사한다.
• 제거 실험 결과, 공간적 추적 헤드가 추적 성능 향상에 크게 기여하며, 공간적 특징을 제거할 경우 D-T(검출-추적 차이)가 2.74점 감소함을 확인한다.
• 상대 위치 인코딩을 통한 공간 정보 통합은 특히 외관 유사성과 형태 변형이 높은 경우에 더 견고한 추적을 가능하게 한다.
• 이 프레임워크는 세분화, 검출, 추적 모두에서 FR-Ro-GE 및 DeepCell을 모두 초월하여 최신 기술 수준의 성능을 입증한다.
• 모델과 계산 복잡도가 표준 Mask R-CNN에 비해 약간 증가할 뿐이지만, 단순성과 효율성을 유지하면서 뛰어난 성능을 달성한다.