[논문 리뷰] Multi-stream Cell Segmentation with Low-level Cues for Multi-modality Images

Wei Lou, Xinyi Yu외 5명|arXiv (Cornell University)|2023. 10. 22.

Image Processing Techniques and Applications인용 수 7

한 줄 요약

이 논문은 먼저 저수준 신호로 다중 모달 세포 이미지를 클래스별로 분류한 다음, 범주별 특화 분할 모델(Stardist for roundish cells and HoverNet for irregular shapes)과 효율적인 ConvNeXt 백본을 적용하는 클래스-별 다중 스트림 분할 프레임워크를 제시한다.

ABSTRACT

Cell segmentation for multi-modal microscopy images remains a challenge due to the complex textures, patterns, and cell shapes in these images. To tackle the problem, we first develop an automatic cell classification pipeline to label the microscopy images based on their low-level image characteristics, and then train a classification model based on the category labels. Afterward, we train a separate segmentation model for each category using the images in the corresponding category. Besides, we further deploy two types of segmentation models to segment cells with roundish and irregular shapes respectively. Moreover, an efficient and powerful backbone model is utilized to enhance the efficiency of our segmentation model. Evaluated on the Tuning Set of NeurIPS 2022 Cell Segmentation Challenge, our method achieves an F1-score of 0.8795 and the running time for all cases is within the time tolerance.

연구 동기 및 목표

• 자동으로 네 가지 저수준 특성 기반 범주로 다중 모달 현미경 이미지를 분류한다.
• 다양한 분할 접근법의 강점을 활용하기 위해 범주별 분할 모델을 학습한다.
• ConvNeXt 백본으로 효율성을 강화하고 NeurIPS 2022 Cell Segmentation Challenge 데이터에서 엔드투엔드 성능을 평가한다.
• 가짜 라벨링을 통한 비라벨링 데이터가 분할 성능을 향상시키는지 조사한다.

제안 방법

• ConvNeXt-Stardist 분할 모델로 가짜 라벨 합성에 의한 자동 세포 이미지 분류를 사용하여 라벨을 생성한다.
• 저수준 신호에 기반한 이미지의 비지도 분류를 네 가지 카테고리로 한다 (binary, gray, large-cell color, small-cell color).
• 테스트 이미지를 네 가지 카테고리 중 하나로 할당하기 위해 ResNet18 기반 분류기를 학습한다.
• Class-wise 다중 스트림 분할을 ConvNeXt-Stardist를 이용해 원형에 가까운 세포(Class 0, 2, 3)와 ConvNeXt-Hover를 이용해 불규칙한 세포(Class 1)에 대해 수행한다.
• 모든 라벨 데이터에 대해 사전 학습; 각 클래스에 해당하는 카테고리 이미지에서 파인튜닝한다.
• Stardist의 손실: CE, Dice, MAE; Hover의 손실: CE, Dice, MSE, MSGE; 비최적 억제(NMS) 및 마커-제어 워터쉐딩 후처리.
• 추론은 분류기를 사용하여 테스트 이미지를 해당 클래스별 분할 모델로 경로화한다.

실험 결과

연구 질문

• RQ1 다중 모달 현미경 이미지의 자동 저수준 특징 기반 클러스터링이 모듈 간 일반화에 도움이 되는가?
• RQ2 클래스별 다중 스트림 분할 프레임워크가 다중 모달 세포 이미지에서 단일 모델 접근법보다 성능이 우수한가?
• RQ3 ConvNeXt 백본과 Stardist 또는 HoverNet 헤드가 모양에 관계없이 효율적이고 정확한 세포 분할에 효과적인가?
• RQ4 가짜 라벨을 통한 비라벨 데이터의 도입이 분할 성능을 향상시키는가?

주요 결과

• 제안된 파이프라인은 튜닝 세트에서 전체 F1 점수 0.8795를 달성한다.
• 클래스별 미세조정은 튜닝 세트에서 F1 기준으로 분할 성능을 최대 5.81% 향상시킨다.
• 클래스별 모델(Stardist를 일부 클래스에, Class 1에 Hover)을 사용하는 것이 사전 학습된 비미세조정 대비 성능 향상을 보인다.
• 최종 튜닝 세트의 평균 F1은 다음과 같이 개선된다: 우리의 경우 0.8795, 사전 학습 버전 대비.
• 정성적 결과는 조밀하게 분포된 세포와 드물게 분포된 세포에서 강한 성능을 보이고 밝은 전경/어두운 배경 이미지에서 일부 실패를 보인다.
• 실행 시간은 모든 튜닝 세트 경우에 허용 시간 내에 있다.