[논문 리뷰] InstanSeg: an embedding-based instance segmentation algorithm optimized for accurate, efficient and portable cell segmentation

Thibaut Goldsborough, Ben Philps외 6명|arXiv (Cornell University)|2024. 08. 28.

AI in cancer detection인용 수 7

한 줄 요약

InstanSeg은 임베딩 기반의 인스턴스 분할 파이프라인으로 세포/핵 분할에서 더 높은 정확도와 훨씬 빠른 추론 속도를 달성하며, TorchScript 직렬화와 쉬운 통합을 위한 QuPath 확장을 제공합니다.

ABSTRACT

Cell and nucleus segmentation are fundamental tasks for quantitative bioimage analysis. Despite progress in recent years, biologists and other domain experts still require novel algorithms to handle increasingly large and complex real-world datasets. These algorithms must not only achieve state-of-the-art accuracy, but also be optimized for efficiency, portability and user-friendliness. Here, we introduce InstanSeg: a novel embedding-based instance segmentation pipeline designed to identify cells and nuclei in microscopy images. Using six public cell segmentation datasets, we demonstrate that InstanSeg can significantly improve accuracy when compared to the most widely used alternative methods, while reducing the processing time by at least 60%. Furthermore, InstanSeg is designed to be fully serializable as TorchScript and supports GPU acceleration on a range of hardware. We provide an open-source implementation of InstanSeg in Python, in addition to a user-friendly, interactive QuPath extension for inference written in Java. Our code and pre-trained models are available at https://github.com/instanseg/instanseg .

연구 동기 및 목표

• 다양한 현미경 데이터 세트에서 핵/세포 인스턴스 분할 정확도 향상.
• 대규모 및 실제 생물의학 데이터의 추론 속도와 효율성 증가.
• TorchScript 직렬화 및 교차 언어 통합(QuPath 확장)을 통한 이식성 및 사용성 향상.
• GPU 가속의 엔드-투-엔드 비독점 파이프라인 제공으로 기존 생물이미지 워크플로우에의 통합 용이성 확보.

제안 방법

• 수정된 UNet 백본을 이용한 임베드 기반 분할.
• 시드 맵, 위치 임베딩, 조건부 임베딩을 예측하는 시드 기반 픽셀 할당.
• 픽셀 오프셋과 임베딩을 사용하는 신경망 헤드 Phi를 통한 인스턴스 확률 매핑.
• 손실 함수의 결합으로 학습: 시드 손실 Ls(인스턴스 경계까지의 거리) 및 인스턴스 손실 Li(Lovasz 힌지-일대다 표기).
• 로컬 극값에서 시드를 샘플링하고 오프셋 Qij−Qk를 계산하며 IoU 기반 합집합으로 중복 인스턴스 예측을 병합.

Figure 1: The InstanSeg pipeline. A feature encoder $f$ and three feature heads $s,p$ and $e$ transform an input image $\bm{X}$ into a seed map $\bm{S}$ , a positional embedding $\bm{P}$ and a conditional embedding $\bm{E}$ . We sample local maxima in the seed map to find the coordinates of seed pix

실험 결과

연구 질문

• RQ1 학습된 시드 전파를 갖는 임베딩 기반 접근법이 다양한 핵 데이터 세트에서 최첨단 정확도를 달성할 수 있는가?
• RQ2 시드 중심의 신경군집 접근법이 붙은/겹친 핵 분할을 개선하면서도 효율성과 이식성을 유지하는가?
• RQ3 표준 하드웨어에서의 추론 속도 및 메모리 측면에서 InstanSeg는 GPU 제한 환경에서 어떤 성능을 보이는가?
• RQ4 메서드를 직렬화하고 비파이선 도구(TorchScript) 및 GUI 워크플로우(QPath 확장)로의 통합이 성능 저하 없이 가능한가?
• RQ5 더 높은 차원의 위치/조건부 임베딩을 사용한 경우 분할 정확도에 어떤 영향이 있는가?

주요 결과

데이터 세트	StarDist F1_mu	StarDist F1_0.5	HoVer-Net F1_mu	HoVer-Net F1_0.5	CellPose F1_mu	CellPose F1_0.5	EmbedSeg F1_mu	EmbedSeg F1_0.5	InstanSeg F1_mu	InstanSeg F1_0.5	InstanSeg F1_mu (TTA)	InstanSeg F1_0.5 (TTA)
TNBC 2018	0.645	0.896	0.546	0.768	0.627	0.835	0.641	0.870	0.699	0.898	0.704	0.899
NuInsSeg	0.494	0.799	0.374	0.635	0.497	0.788	0.492	0.761	0.511	0.787	0.527	0.805
MoNuSeg	0.543	0.846	0.438	0.707	0.553	0.850	-	-	0.575	0.861	0.566	0.860
IHC TMA	0.470	0.798	0.304	0.559	0.545	0.811	-	-	0.560	0.836	0.573	0.834
CoNSeP	0.418	0.690	0.312	0.538	0.389	0.626	-	-	0.483	0.706	0.491	0.709
LyNSeC	0.701	0.920	0.659	0.886	0.701	0.911	-	-	0.724	0.923	0.725	0.922

• InstanSeg는 여섯 개의 공개 핵 데이터 세트에서 최첨단 또는 경쟁력 있는 정확도를 달성하며, 종종 베이스라인을 상회한다.
• 추론은 베이스라인보다 상당히 빠르며, InstanSeg는 노트북 GPU에서 199개 이미지를 포함한 36,073 인스턴스에 대해 약 9.4초를 소요하고, 후처리 시간이 EmbedSeg보다 유의하게 낮다.
• TorchScript 직렬화 모델과 QuPath 확장을 통해 포터블하고 다언어 간 사용이 가능하며 Apple 및 NVIDIA 하드웨어에서 GPU 가속을 포함한다.
• 가장자리 임베딩의 차원 확장(De > 2) 및 조건부 임베딩의 포함(De > 0)이 정확도를 높인다는 것이 제거 시 성능 저하로 나타난다는 분석 결과.
• 데이터 세트 전반에 걸쳐 InstanSeg는 F1 지표에서 StarDist, HoVer-Net, CellPose, EmbedSeg를 지속적으로 능가하며, TTA로 대부분의 경우 추가 이득이 발생한다.

Figure 2: InstanSeg uses a local maxima algorithm on a predicted seed map (left image) to locate suitable seed(s) for each object. In large instances, there may be multiple seeds detected within the object. InstanSeg was trained to predict the full instance irrespective of the sampled seed location,