[논문 리뷰] PLUTO: Pathology-Universal Transformer

Dinkar Juyal, Harshith Padigela외 31명|arXiv (Cornell University)|2024. 05. 13.

Cancer Genomics and Diagnostics인용 수 8

한 줄 요약

PLUTO는 195M 이미지 타일을 다양한 사이트와 염색으로 걸친 경량 병리 기초 모델로, 슬라이드-, 조직-, 세포 수준의 병리 작업에 적응하는 다중 스케일 임베딩을 생성하며 작업별 헤드를 갖습니다. 이는 데이터 효율성과 분포 변동에 강인하면서도 태스크 특이적 기저 모델과 동등하거나 우수한 성능을 보입니다.

ABSTRACT

Pathology is the study of microscopic inspection of tissue, and a pathology diagnosis is often the medical gold standard to diagnose disease. Pathology images provide a unique challenge for computer-vision-based analysis: a single pathology Whole Slide Image (WSI) is gigapixel-sized and often contains hundreds of thousands to millions of objects of interest across multiple resolutions. In this work, we propose PathoLogy Universal TransfOrmer (PLUTO): a light-weight pathology FM that is pre-trained on a diverse dataset of 195 million image tiles collected from multiple sites and extracts meaningful representations across multiple WSI scales that enable a large variety of downstream pathology tasks. In particular, we design task-specific adaptation heads that utilize PLUTO's output embeddings for tasks which span pathology scales ranging from subcellular to slide-scale, including instance segmentation, tile classification, and slide-level prediction. We compare PLUTO's performance to other state-of-the-art methods on a diverse set of external and internal benchmarks covering multiple biologically relevant tasks, tissue types, resolutions, stains, and scanners. We find that PLUTO matches or outperforms existing task-specific baselines and pathology-specific foundation models, some of which use orders-of-magnitude larger datasets and model sizes when compared to PLUTO. Our findings present a path towards a universal embedding to power pathology image analysis, and motivate further exploration around pathology foundation models in terms of data diversity, architectural improvements, sample efficiency, and practical deployability in real-world applications.

연구 동기 및 목표

• 사이트, 스캐너, 염색 관련 변이로 인한 병리 AI의 데이터 다양성 및 로버스트니스 도전 과제를 동기화하고 해결한다.
• 다양한 데이터 소스로부터 다중 스케일 WSI 표현을 학습하는 보편적 병리 기초 모델(PLUTO)을 개발한다.
• 단일 백본의 효율적인 적응을 통해 슬라이드-, 조직-, 세포/소세포 수준 분석에 이르는 다운스트림 태스크를 포괄하도록 한다.
• 다수의 벤치마크 및 모달리티에서 PLUTO를 최신 태스크별 모델 및 병리 기초 모델과 비교 평가한다.

제안 방법

• 자기지도 목표(DINOv2, iBOT) 및 MAE 재구성을 포함하여 50개 이상의 소스에서 195M 타일, 네 가지 해상도에서 self-supervised로 학습하는 경량 ViT 백본(FlexiViT)을 pre-train한다.
• MAE 훈련 중 저주파/고주파 콘텐츠를 개별 최적화하기 위해 Fourier 기반 재구성 손실을 도입한다.
• 다중 해상 전처리 및 적응 추론을 가능하게 하는 가변 패치 크기 및 멀티스케일 마스킹을 허용하는 FlexiViT를 사용한다.
• 타일로부터 다중 스케일 임베딩을 추출하고, 슬라이드 수준의 MIL, 조직 수준의 타일 분류기, 세포/부분세포 작업의 인스턴스 분할 헤드를 학습한다.
• 적응 헤드에는 Mask2Former, Mask R-CNN, 및 데이터 규정 및 주석 세분성에 맞춰 최적화된 다른 경량 분류기가 포함된다.

실험 결과

연구 질문

• RQ1 다양한 다사이트 데이터로 학습된 단일 병리 기초 모델이 슬라이드, 조직, 세포 수준 및 염색 프로토콜에 걸쳐 강건한 임베딩을 제공할 수 있는가?
• RQ2 PLUTO가 슬라이드 수준 분류, 타일 수준 분류, 인스턴스 분할에서 태스크-특정 baselines 및 기존 병리 FM과 비교해 어떠한가?
• RQ3 멀티 스케일 마스킹과 Fourier 손실을 갖춘 경량 백본이 일반화, 샘플 효율성, 실제 병리 워크플로우에서의 배포성능을 개선하는가?
• RQ4 다양한 적응 헤드(MIL, Mask2Former, Mask R-CNN, 선형 분류기 등)가 스케일과 데이터셋 전반의 성능에 어떤 영향을 주는가?

주요 결과

• PLUTO는 다양한 벤치마크에서 태스크-특정 baselines 및 다른 병리 기초 모델과 동등하거나 그 이상을 달성한다.
• NSCLC 슬라이드 수준 아형에서, 동결된 특징을 사용하는 PLUTO는 도메인 내에서 90.2 F1 및 94.0 AUROC, 도메인 외에서 86.1 F1 및 91.2 AUROC로 여러 baselines보다 우수하다.
• HER2 스코어링에서, 도메인 내 71.5 F1 및 89.5 AUROC, 도메인 외 71.0 F1 및 93.7 AUROC로 다시 비슷한 백본을 능가한다.
• CRC-100K 및 Camelyon17-WILDS에서 타일 분류는 선형 헤드를 사용한 PLUTO 임베딩으로 높은 정확도 보임(CRC-100K: 96.6% Acc, 95.3% Bal. Acc; Camelyon17-WILDS: 96.2% Acc).
• Gland 및 핵 분할 벤치마크(GlaS, PanNuke)는 PLUTO와 적절한 세분화 헤드(Mask2Former, Mask R-CNN 등)를 조합하면 경쟁력 있는 성능을 달성했다.