[논문 리뷰] A Foundation Model for Cell Segmentation

Uriah Israel, Markus Marks외 12명|arXiv (Cornell University)|2023. 11. 18.

Cell Image Analysis Techniques인용 수 7

한 줄 요약

이 논문은 세포 분할을 위한 기초 모델인 CellSAM을 소개한다. 이 모델은 세포 탐지기인 CellFinder를 사용해 정확한 인스턴스 마스크를 생성하는 새로운 프롬프트 엔지니어링 파이프라인을 활용한 Segment Anything Model(SAM)을 기반으로 한다. 이 접근 방식은 작업별 특화 미세조정 없이도 다양한 세포 영상 도메인—우리 흑색모발세포, 효모, 박테리아—에서 최신 기술 수준(SOTA) 성능을 달성하며, 제로샷 일반화가 가능하고 인간이 참여하는 레이블링 워크플로우에 통합될 수 있다.

ABSTRACT

Cells are the fundamental unit of biological organization, and identifying them in imaging data - cell segmentation - is a critical task for various cellular imaging experiments. While deep learning methods have led to substantial progress on this problem, models that have seen wide use are specialist models that work well for specific domains. Methods that have learned the general notion of "what is a cell" and can identify them across different domains of cellular imaging data have proven elusive. In this work, we present CellSAM, a foundation model for cell segmentation that generalizes across diverse cellular imaging data. CellSAM builds on top of the Segment Anything Model (SAM) by developing a prompt engineering approach to mask generation. We train an object detector, CellFinder, to automatically detect cells and prompt SAM to generate segmentations. We show that this approach allows a single model to achieve state-of-the-art performance for segmenting images of mammalian cells (in tissues and cell culture), yeast, and bacteria collected with various imaging modalities. To enable accessibility, we integrate CellSAM into DeepCell Label to further accelerate human-in-the-loop labeling strategies for cellular imaging data. A deployed version of CellSAM is available at https://label-dev.deepcell.org/.

연구 동기 및 목표

• 다양한 세포 영상 모odalities와 종에 걸쳐 잘 작동하는 일반화 가능한 세포 분할 모델을 개발하는 것.
• 도메인 전용 설계와 하이퍼파라미터 튜닝이 필요한 전문 모델의 한계를 해결하는 것.
• 자동으로 고정밀도 예측을 제공함으로써 세포 레이블링의 변동 비용을 줄이고 인간이 참여하는 레이블링에 효율성을 높이는 것.
• 생물학적 맥락에서 '세포는 무엇인가'라는 일반적인 표현을 학습하는 세포 분할을 위한 기초 모델을 만드는 것.
• 모델을 DeepCell Label에 통합하여 생물학적 영상 파이프라인에서 실용적으로 구현하는 것.

제안 방법

• CellSAM은 입력 이미지의 세포에 대해 경계 상자(Bounding boxes)를 예측하기 위해 수정된 Anchor DETR 객체 탐지기인 CellFinder를 사용한다.
• 이 경계 상자는 Segment Anything Model(SAM)의 프롬프트로 사용되어 마스크 분할을 추론하며, SAM의 프롬프트 기반 마스크 디코더를 활용한다.
• 세 단계의 추론 임계값 처리 파이프라인이 적용된다: CellFinder의 신뢰도에 대해 0.4, SAM의 IoU 예측 헤드에 대해 0.5, 마스크 로짓의 시그모이드 활성화에 대해 0.5.
• 후처리로는 구멍 메꾸기와 섬 제거가 수행되어 개별 세포 마스크를 정밀하게 다듬으며, SAM의 표준 절차를 따르는 방식이다.
• 모델는 다양한 세포 영상에서의 자기지도 학습 전훈을 통해 끝내고, 레이블된 데이터셋에서의 지도 미세조정을 통해 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 DeepCell Label에 배포되어, 레이블링을 처음부터 하는 것이 아니라 모델 예측를 수정하는 방식으로 빠르고 상호작용적인 레이블링을 가능하게 한다.

Figure 1: CellSAM: a foundational model for cell segmentation. CellSAMcombines SAM’s mask generation and labeling capabilities with an object detection model to achieve automated inference. Input images are divided into regularly sampled patches and passed through a transformer encoder (e.g., a ViT)

실험 결과

연구 질문

• RQ1 단일 기초 모델이 인간 세포 조직, 세포 배양, 효모, 박테리아를 포함한 다양한 세포 영상 도메인에 일반화할 수 있는가?
• RQ2 탐지기로 생성된 경계 상자 기반의 프롬프트 추론이 제로샷 프롬프트와 비교해 분할 정확도에서 어떻게 다른가?
• RQ3 기초 모델이 인간이 참여하는 워크플로우에서 세포 레이블링의 변동 비용을 어느 정도 줄일 수 있는가?
• RQ4 제안된 파이프라인은 다양한 종과 영상 모달리티에서 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하는가?
• RQ5 모델는 도메인 전용 적응을 최소화하고 실생활 생물학적 영상 파이프라인에 효과적으로 구현될 수 있는가?

주요 결과

• CellSAM은 인간 세포, 효모, 박테리아를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, 모든 도메인에서 Cellpose와 같은 전문 모델을 초월한다.
• 모델는 강력한 제로샷 일반화 능력을 보이며, 새로운 데이터셋에 대해 미세조정 없이도 높은 F1 스코어를 달성하며, 다양한 영상 모달리티에서 성능이 유지된다.
• CellSAM 전용 및 CellSAM 일반 버전 모두 모든 평가 지표(재현율, 정밀도, F1)에서 기준 모델을 초월하며, 테스트된 모든 데이터셋에서 성능을 높였다.
• DeepCell Label에 CellSAM을 통합함으로써 인간이 참여하는 레이블링이 더 빠르고 효율적이게 되었으며, 모델 예측 수정을 가속화함으로써 레이블링 비용을 줄였다.
• CellFinder 탐지기에서 mAP는 0.85, AP50는 0.92를 기록하여 프롬프트 생성에 필수적인 강력한 객체 탐지 성능을 입증했다.
• 후처리 단계(구멍 메꾸기 및 섬 제거)는 마스크 품질을 크게 향상시켜 잘못된 양성 결과와 분할된 예측을 줄였다.

Figure 2: CellSAM is a strong generalist model for cell segmentation. a) For training and evaluating CellSAM, we curated a diverse cell segmentation dataset from the literature. The number of annotated cells is given for each data type. Nuclear refers to a heterogeneous dataset (DSB) [ 51 ] containi