Skip to main content
QUICK REVIEW

[논문 리뷰] CellViT: Vision Transformers for Precise Cell Segmentation and Classification

Fabian Hörst, Moritz Rempe|arXiv (Cornell University)|2023. 06. 27.
AI in cancer detectionComputer Science인용 수 19
한 줄 요약

CellViT은 PanNuke에서 핵 인스턴스 분할 및 분류를 위한 Vision Transformer 기반의 U-Net 유사 아키텍처를 도입하여 ViT 인코더와 다중 작업 디코딩을 사용해 최첨단 지표를 달성한다.

ABSTRACT

Nuclei detection and segmentation in hematoxylin and eosin-stained (H&E) tissue images are important clinical tasks and crucial for a wide range of applications. However, it is a challenging task due to nuclei variances in staining and size, overlapping boundaries, and nuclei clustering. While convolutional neural networks have been extensively used for this task, we explore the potential of Transformer-based networks in this domain. Therefore, we introduce a new method for automated instance segmentation of cell nuclei in digitized tissue samples using a deep learning architecture based on Vision Transformer called CellViT. CellViT is trained and evaluated on the PanNuke dataset, which is one of the most challenging nuclei instance segmentation datasets, consisting of nearly 200,000 annotated Nuclei into 5 clinically important classes in 19 tissue types. We demonstrate the superiority of large-scale in-domain and out-of-domain pre-trained Vision Transformers by leveraging the recently published Segment Anything Model and a ViT-encoder pre-trained on 104 million histological image patches - achieving state-of-the-art nuclei detection and instance segmentation performance on the PanNuke dataset with a mean panoptic quality of 0.50 and an F1-detection score of 0.83. The code is publicly available at https://github.com/TIO-IKIM/CellViT

연구 동기 및 목표

  • Digitized H&E 슬라이드에서 진단 지원 및 다운스트림 바이오마커 발견을 위한 정밀 핵 분석의 동기를 부여한다.
  • U-Net 유사 프레임워크 내에서 Vision Transformer를 활용한 핵 인스턴스 분할 모델을 개발한다.
  • ViT256 및 SAM과 같은 대규모 사전 학습된 Vision Transformer 및 기초 모델을 활용하여 분할 및 분류를 향상시킨다.
  • 대형 패치 크기를 활용한 대용량 이미지(WSI) 추론 파이프라인을 제공한다.
  • 엔코더 학습을 개선하기 위해 핵 유형 분류 및 조직 수준 지침을 가능하게 한다

제안 방법

  • ViT 인코딩을 위한 학습 가능한 클래스 토큰 및 2D 위치 임베딩이 있는 16x16 픽셀 토큰 시퀀스로 입력 이미지를 변환한다.
  • NP(핵), HV(가로/세로 거리), NT(핵 유형) 가지 브랜치가 있는 다중 분기 U-Net 스타일 디코더에 다섯 개의 스킵 연결으로 연결된 ViT 인코더를 채택한다.
  • PanNuke의 조직 라벨을 사용하여 인코더 학습을 안내하기 위한 조직 분류 브랜치(TC)를 통합한다.
  • BCE, DICE, MSE, MSGE, Focal Tversky 손실으로 상세한 형태의 구성에서 NP, HV, NT, TC 가지를 결합한 합성 손실로 학습한다.
  • 겹치는 핵을 분리하고 NT 맵에 대한 다수결 투표를 통해 핵 유형을 할당하기 위한 HoVer-Net에서 영감을 받은 후처리(Postprocessing)를 적용한다.
  • ViT256 104M개의 조직병리 샘플에서 사전 학습된 파라미터를 사용한 백본 인코더로, Segment Anything Model(SAM)을 사용한 백본 인코더로 평가하고, 전이 학습 및 도메인 내부/외부 사전학습을 수행한다

실험 결과

연구 질문

  • RQ1조직학 데이터를 사전 학습한 Vision Transformer가 PanNuke에서 CNN 기반 접근법과 비교했을 때 핵 인스턴스 분할을 향상시키는가?
  • RQ2ViT 인코더를 다중 분기 디코더와 결합하는 것이 조직 유형 간 분할 정확도 및 핵 분류에 어떤 영향을 미치는가?
  • RQ3사전 학습 선택(ViT256, SAM)이 PanNuke 성능과 MoNuSeg와 같은 다른 데이터셋으로의 일반화에 어떤 영향을 미치는가?
  • RQ41024x1024 px의 빠르고 대형 패치 추론 전략이 정확도를 유지하면서 WSI 규모 분석을 가능하게 하는가?
  • RQ5조직 수준의 감독이 엔코더 표현을 안내하여 이후 핵 분류를 개선할 수 있는가?

주요 결과

  • PanNuke에서 평균 파놉틱 품질(PQ) 0.50 및 F1-감지력 0.83으로 최첨단 핵 탐지 및 인스턴스 분할을 달성한다.
  • 대규모 도메인 내부/외부 사전 학습 Vision Transformer(ViT256 및 SAM)의 핵 분석에 대한 효과를 입증한다.
  • 미세 조정 없이 MoNuSeg에 일반화되며 크로스-데이터셋 로버스트성을 시사한다.
  • WSI 추론을 1024x1024 px 패치로 가속화하여 HoVer-Net 기준보다 1.85배 빠르게 분할 품질을 유지한다.
  • 핵 탐지, 위치화 및 유형 분류를 단일 순전파에서 얻을 수 있는 통합 프레임워크를 제공하여 CNN 전용 파이프라인에 비해 런타임을 감소시킨다

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.