[논문 리뷰] Self-Supervised Vision Transformers Learn Visual Concepts in Histopathology

Richard J. Chen, Rahul G. Krishnan|arXiv (Cornell University)|2022. 03. 01.

AI in cancer detection인용 수 43

한 줄 요약

논문은 병리 패치 및 슬라이드 수준 과제에 대해 자체 감독 학습을 벤치마크하고, DINO 기반 비전 트랜스포머가 해부학적 형태 개념을 해석 가능하게 학습하며, 데이터가 제한된 상황에서 특히 ImageNet 사전 학습 기반의 기법보다 종종 더 우수한 성능을 보입니다.

ABSTRACT

Tissue phenotyping is a fundamental task in learning objective characterizations of histopathologic biomarkers within the tumor-immune microenvironment in cancer pathology. However, whole-slide imaging (WSI) is a complex computer vision in which: 1) WSIs have enormous image resolutions with precludes large-scale pixel-level efforts in data curation, and 2) diversity of morphological phenotypes results in inter- and intra-observer variability in tissue labeling. To address these limitations, current efforts have proposed using pretrained image encoders (transfer learning from ImageNet, self-supervised pretraining) in extracting morphological features from pathology, but have not been extensively validated. In this work, we conduct a search for good representations in pathology by training a variety of self-supervised models with validation on a variety of weakly-supervised and patch-level tasks. Our key finding is in discovering that Vision Transformers using DINO-based knowledge distillation are able to learn data-efficient and interpretable features in histology images wherein the different attention heads learn distinct morphological phenotypes. We make evaluation code and pretrained weights publicly-available at: https://github.com/Richarizardd/Self-Supervised-ViT-Path.

연구 동기 및 목표

• 전병리학의 전체 슬라이드 이미지(WSI) 표현형 분석 과제에 대한 인스턴스 수준 사전 학습 인코더로서 다양한 자체 감독 모델을 평가한다.
• 자가 감독 방법의 귀납적 편향이 다운스트림 패치 수준 및 약 지도 조직 표현형 과제에 어떤 영향을 미치는지 평가한다.
• 다양한 병리 데이터셋에서 자체 감독 사전 학습(SimCLR, DINO)과 ImageNet 전이 학습을 비교한다.
• 학습 표현의 해석 가능성을 조사하고, 특히 주의 헤드가 병리학적 개념을 국소화하는지 여부를 평가한다.

제안 방법

• 256x256 해부학 패치를 사용한 phi의 자체 감독 방법으로 사전 학습(ResNet-50과 DINO의 Vision Transformer) 수행.
• 다양한 학습 데이터 비율(100%, 75%, 50%, 25%)에 걸쳐 약 지도 breast cancer 하위 유형 분류(IDC 대 ILC) 및 패치 수준 조직 표현형(CRC-100K, BreastPathQ)을 평가한다.
• 패치 임베딩을 슬라이드 수준 예측으로 집계하기 위해 MIL 프레임워크에서 CLAM을 백(Bag) 분류기로 사용한다.
• Baseline으로 ImageNet에서 사전 학습된 ResNet-50과 비교하고, 학습된 시각 개념을 해석하기 위해 DINO의 주의 헤드를 시각화한다.
• UMAP을 통한 글로벌 구조 분석 및 자체 감독 특징의 데이터 효율성과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 히스토로패치에서의 자체 감독 사전 학습 방법이 패치 및 슬라이드 수준 병리 과제에 대해 ImageNet 전이 인코더보다 더 나은 표현을 생성하는가?
• RQ2 SimCLR과 DINO가 데이터 가용성에 따라 약 지도 암종 하위 유형 분류 및 패치 수준 조직 표현형에서 어떻게 비교되는가?
• RQ3 DINO의 주의 헤드가 의미 있는 병리학 개념(세포 위치, 기질, 지방/공간 주머니 등)을 국소화하고 조직 패치의 부분-전체 계층 구조를 반영하는가?

주요 결과

표 / 맥락	방법	아키텍처	100% 학습	75% 학습	50% 학습	25% 학습
BRCA Subtyping (IDC vs ILC)	IN Transfer	ResNet-50	0.884 ± 0.059	0.850 ± 0.069	0.835 ± 0.087	0.756 ± 0.081
BRCA Subtyping (IDC vs ILC)	SimCLR	ResNet-50	0.879 ± 0.069	0.859 ± 0.079	0.820 ± 0.102	0.774 ± 0.094
BRCA Subtyping (IDC vs ILC)	DINO	ViT	0.886 ± 0.059	0.852 ± 0.049	0.862 ± 0.052	0.809 ± 0.034
CRC-100K Patch-Level (Macenko SN, All Classes)	IN Transfer	ResNet-50	0.983
CRC-100K Patch-Level (Macenko SN, All Classes)	SimCLR	ResNet-50	0.988
CRC-100K Patch-Level (Macenko SN, All Classes)	DINO	ViT	0.999
CRC-100K Patch-Level (Macenko SN, All Classes) – No SN	IN Transfer	ResNet-50	0.988
CRC-100K Patch-Level (Macenko SN, All Classes) – No SN	SimCLR	ResNet-50	0.981
CRC-100K Patch-Level (Macenko SN, All Classes) – No SN	DINO	ViT	0.991
BRCA Tumor Cellularity (BreastPathQ)	IN Transfer	ResNet-50	0.058
BRCA Tumor Cellularity (BreastPathQ)	SimCLR	ResNet-50	0.078
BRCA Tumor Cellularity (BreastPathQ)	DINO	ViT	0.029

• ImageNet 특징은 강력한 베이스라인이며 여러 과제에서 자체 감독 방법과 경쟁적일 수 있다.
• BRCA 하위 유형 분류에서 DINO는 자체 감독 방법 중 가장 높은 AUC를 달성하며 학습 데이터 비율에 따라 ImageNet 베이스라인에 근접하거나 다소 아래일 수 있다.
• CRC-100K 패치 수준 표현형에서 자체 감독 방법(DINO 포함)은 견고한 성능을 보이며 ImageNet 기반 특징과 근접하게 매칭되거나 능가하고, 임베딩의 글로벌 구조 보존이 향상된다.
• 대부분의 과제에서 DINO가 SimCLR보다 우수하며, 특히 데이터가 부족한 조건에서 지식 증류 사전 학습이 병리학적 형태를 더 잘 포착하는 것으로 보인다.
• 시각화 결과 DINO의 다중 헤드 주의가 서로 다른 형태학적 표현형(세포 위치, 기질, 지방/공간 주머니 등)을 국소화하여 해석 가능하고 부분-전체 표현을 뒷받침한다.