[논문 리뷰] Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology

Eric Zimmermann, Eugene Vorontsov외 12명|arXiv (Cornell University)|2024. 08. 01.

Body Composition Measurement Techniques인용 수 40

한 줄 요약

이 논문은 Virchow2와 Virchow2G를 소개합니다. 병리학에 맞춘 자기지도 학습 ViT 모델로 3.1M WSIs에서 학습되었으며, 데이터 규모와 모델 크기를 확장하여 12개 작업에서 타일 수준의 최첨단 성능을 달성합니다.

ABSTRACT

Foundation models are rapidly being developed for computational pathology applications. However, it remains an open question which factors are most important for downstream performance with data scale and diversity, model size, and training algorithm all playing a role. In this work, we propose algorithmic modifications, tailored for pathology, and we present the result of scaling both data and model size, surpassing previous studies in both dimensions. We introduce three new models: Virchow2, a 632 million parameter vision transformer, Virchow2G, a 1.9 billion parameter vision transformer, and Virchow2G Mini, a 22 million parameter distillation of Virchow2G, each trained with 3.1 million histopathology whole slide images, with diverse tissues, originating institutions, and stains. We achieve state of the art performance on 12 tile-level tasks, as compared to the top performing competing models. Our results suggest that data diversity and domain-specific methods can outperform models that only scale in the number of parameters, but, on average, performance benefits from the combination of domain-specific methods, data scale, and model scale.

연구 동기 및 목표

• 계산 병리학에서 데이터 규모와 다양성을 핵심 성능 동인으로 삼는 기초 모델의 필요성을 제시한다.
• 이전에 제시된 Virchow 모델을 개선하는 병리학에 특화된 자기지도 학습 방법을 개발한다.
• 타일 수준 벤치마크에 대한 데이터 다양성, 모델 크기, 학습 알고리즘의 영향을 평가한다.
• 다양한 조직과 염색체를 포괄하는 대규모 ViT 기반 병리 모델을 공개적으로 제공한다.

제안 방법

• 도메인 영감을 받은 증강 기법을 제안하며, 확장 맥락 번역(ECT) 및 KoLeo를 위한 엔트로피 정규화를 위한 KDE 기반 다양한 정규화 등 다양한 정규화를 포함한다.
• 대규모 ViT 학습의 안정화 기법을 채택하며, 이중 패치 정규화(DPN)와 질의-키 정규화(QKN), 안정적 AdamW 최적화를 적용한다.
• 다양한 조직, 기관, 염색법을 포함한 데이터(1.5M에서 3.1M WSIs)로 확장하고, 모델 크기를 Virchow의 632M에서 Virchow2G의 1.9B로 확장한다.
• DINOv2에서 영감을 받은 다중 뷰 레시피에 따라 전역 및 지역 뷰를 사용하여 혼합 배율 타일(5x–40x)을 KDE 기반 다양성 정규화로 KoLeo를 대체하며 학습한다.
• 길쭉한 꼬리현상을 완화하기 위해 조직 유형, 진단, 염색, 배율 간의 학습 데이터를 균형 있게 조정한다.
• Virchow2에는 2B의 비균형 타일, Virchow2G에는 2B의 균형 타일을 제공하며 안정성을 위해 아키텍처와 하이퍼파라미터를 조정한다.

실험 결과

연구 질문

• RQ1 데이터 규모와 모델 규모가 병리학 기초 모델의 타일 수준 성능에 어떤 상호 작용을 보이는가?
• RQ2 도메인 특화 증강 및 정규화 방법이 혼합-배율 병리 데이터에 적용될 때 표준 자연 이미지 SSL 파이프라인보다 더 나은 성능을 내는가?
• RQ3 혼합 배율 학습 및 다양성 지향 목표가 분포 내 타일 벤치마크와 분포 외 타일 벤치마크에 어떤 영향을 미치는가?
• RQ4 더 큰 ViT 모델(예: 1.9B 매개체)이 다양한 WSIs로 학습될 때 더 작은 병리 맞춤 모델보다 추가 이득을 제공하는가?
• RQ5 안정화 기법(DPN, QKN, StableAdamW)이 대규모 학습에서 학습 안정성 및 최종 성능에 어떤 영향을 미치는가?

주요 결과

• Virchow2가 평균 분포 내 가중치 F1을 0.944( Virchow )에서 0.966으로 향상시킨다.
• Virchow2G가 평균 분포 내 가중치 F1을 0.971로 더 증가시킨다.
• 분포 외에서 평균 가중치 F1은 Virchow에서 0.877에서 Virchow2에서 0.885, Virchow2G에서 0.894로 상승한다.
• 모델 및 데이터 규모에 따른 평균 OOD 성능에서 로그-선형 추세가 관찰된다.
• 도메인 영감을 받은 적응(ECT, KDE)과 데이터 및 모델 확장을 통해 12개 작업의 여러 타일 벤치마크에서 최첨단 결과를 달성한다.
• Virchow2G는 이 연구에서 평가된 모든 벤치마크 작업에서 최상의 성능을 달성한다.