[논문 리뷰] The Multi-modality Cell Segmentation Challenge: Towards Universal Solutions

Jun Ma, Ronald Xie외 38명|arXiv (Cornell University)|2023. 08. 10.

Cell Image Analysis Techniques참고 문헌 55인용 수 15

한 줄 요약

논문은 NeurIPS 다중 모달리티 세포 분할 벤치마크를 소개하고 트랜스포머 기반 모델이 다양한 현미경 이미지에서 일반화 우수성을 달성함을 보여주며 공개 Docker화 구현 및 Napari 통합을 제공한다.

ABSTRACT

Cell segmentation is a critical step for quantitative single-cell analysis in microscopy images. Existing cell segmentation methods are often tailored to specific modalities or require manual interventions to specify hyper-parameters in different experimental settings. Here, we present a multi-modality cell segmentation benchmark, comprising over 1500 labeled images derived from more than 50 diverse biological experiments. The top participants developed a Transformer-based deep-learning algorithm that not only exceeds existing methods but can also be applied to diverse microscopy images across imaging platforms and tissue types without manual parameter adjustments. This benchmark and the improved algorithm offer promising avenues for more accurate and versatile cell analysis in microscopy imaging.

연구 동기 및 목표

• 다양한 현미경 모듈에 걸친 수동 튜닝 없이 보편적이고 자동화된 세포 분할 개발을 촉진한다.
• 다양한 이미징 플랫폼과 조직 유형에 걸친 크고 다양한 벤치마크 데이터셋을 제공한다.
• 일반목적 알고리즘을 평가하고 효과적인 아키텍처 및 데이터 증가 전략을 식별한다.
• 오픈 소스 코드, Napari 통합, 도커 컨테이너를 통한 접근성과 재현성을 촉진한다.

제안 방법

• 다양한 학습 세트 구성(레이블 1000개 + 비레이블 1500개 이미지)과 함께 100 이미지 튜닝 세트 및 422 이미지 홀드아웃 테스트 세트를 포함한다.
• 표준화된 플랫폼에서 도커 기반 제출 시스템을 통해 알고리즘을 평가하고 시간 및 정확도 지표를 사용한다.
• 다중 스케일 주의가 있는 SegFormer 등 트랜스포머 기반 아키텍처를 다중헤드 출력으로 거리/의미 맵에 대한 제공으로 인스턴스 세분화를 가능하게 한다.
• 새로운 데이터에 대한 미세조정 중 파멸적 망각을 완화하기 위해 셀 메모리 리플레이를 도입한다.
• 슬라이드-윈도우/패치 기반 처리를 통해 전체 슬라이드 이미지를 다룰 때 효율적 추론을 탐구한다.
• 실용적 채택을 돕기 위해 오픈 소스 코드와 Napari 통합 및 Docker 컨테이너를 제공한다.

실험 결과

연구 질문

• RQ1 단일 모델이 매뉴얼 매개변수 조정 없이 밝은필드, 형광, 위상차 및 DIC 이미지를 넘나들며 세포를 정확하게 분절할 수 있는가?
• RQ2 트랜스포머 기반 아키텍처가 다 모달리티에 대한 보편적 세포 분할에서 CNN 기반 접근법보다 일반화에 더 유리한가?
• RQ3 데이터 증강, 사전 학습, 메모리 리플레이 전략 중 cross-domain 일반화를 가장 크게 향상시키는 것은 무엇인가?
• RQ4 모델 효율성(추론 시간 및 메모리)이 보편적 분할 설정에서 정확도와 어떤 트레이드-오프를 가지는가?
• RQ5 최고 성능 방법들이 보이지 않는 조직/세포 유형 및 전체 슬라이드 이미지에 일반화 가능한가?

주요 결과

• 상위 3개 알고리즘이 홀드아웃 세트에서 중간 F1 점수 89.7%, 84.4%, 84.4%를 달성했다.
• 승리 방법인 T1-osilab은 이상치가 적고 1000×1000 이미지의 추론 시간이 약 2초로 높은 정확도를 달성한다.
• 변환기 기반 모델은 이 다양한 벤치마크에서 기존의 최첨단 일반 모델 및 CNN 기반 방법보다 현저히 뛰어난 성능을 보인다.
• 셀 메모리 리플레이는 미세조정된 Cellpose 2.0에서 관찰된 파멸적 망각을 완화하는 데 도움이 된다.
• 알고리즘은 Napari 통합 및 Docker 컨테이너와 함께 공개되어 실용적 사용을 용이하게 한다.