[논문 리뷰] Atlas: A Novel Pathology Foundation Model by Mayo Clinic, Charité, and Aignostics

Maximilian Alber, Stephan Tietz외 25명|arXiv (Cornell University)|2025. 01. 09.

Tuberculosis Research and Epidemiology인용 수 3

한 줄 요약

Atlas는 Mayo Clinic과 Charité에서 120만 개의 WSIs로 학습된 병리학 기초 모델로, 가장 큰 모델이나 데이터세트가 아니더라도 21개 공개 병리 벤치마크에서 평균 성능이 최상위에 도달합니다.

ABSTRACT

Recent advances in digital pathology have demonstrated the effectiveness of foundation models across diverse applications. In this report, we present Atlas, a novel vision foundation model based on the RudolfV approach. Our model was trained on a dataset comprising 1.2 million histopathology whole slide images, collected from two medical institutions: Mayo Clinic and Charité - Universtätsmedizin Berlin. Comprehensive evaluations show that Atlas achieves state-of-the-art performance across twenty-one public benchmark datasets, even though it is neither the largest model by parameter count nor by training dataset size.

연구 동기 및 목표

• 히스토패시올로지에 대한 대규모 자기지도 학습을 통한 강건하고 일반화 가능한 표현을 얻는다.
• 다중 염색 및 다중 배율 WSIs를 활용하여 다양한 조직 유형과 스캐너 변화를 포괄한다.
• Atlas를 광범위한 다운스트림 병리 작업에 걸쳐 일반화 능력을 평가한다.
• Atlas를 다른 선도 병리 기초 모델과 비교하여 강점과 한계를 위치시키는 것이 목적이다.

제안 방법

• 적응된 RudolfV 자기지도 학습 기반의 DINOv2 프레임워크를 사용하여 ViT-H/14 병리 기초 모델(632M 매개변수)을 학습한다.
• Mayo Clinic과 Charité의 120만 개의 비식별화 WSIs 데이터세트를 사용하고, 타일은 다중 해상도(0.25, 0.5, 1.0, 2.0 µm/pixel)로 생성한다.
• 훈련 데이터를 약 5.2억 개의 타일로 샘플링하고, Mayo Clinic Platform 내 Nvidia H100 GPU에서 학습을 수행한다.
• CLS와 CLS+Mean 토큰 표현을 모두 사용하여 21개 공개 벤치마크에서 선형 탐침 및 ABMIL 스타일 슬라이드 수준 방법으로 임베딩을 평가한다.
• 패치 수준 작업은 균형 정확도, 슬라이드 수준 작업은 ABMIL 기반으로 성능을 평가하고, 시드에 대한 평균 및 표준오차를 보고한다.

실험 결과

연구 질문

• RQ1 Atlas가 기존 기초 모델과 비교하여 형태학 및 분자 관련 병리 작업에서 어떤 성능을 보이는가?
• RQ2 다중 염색 및 다중 배율 학습이 다양한 데이터셋과 스캐너에서 로버스트성 및 일반화 이점을 가져오는가?
• RQ3 다운스트림 성능에 대한 선택된 토큰 표현(CLS 대 CLS+Mean)이 어떤 영향을 미치는가?
• RQ4 Atlas가 매개변수 큰 모델이나 가장 큰 데이터세트에 비해 최첨단 결과를 달성할 수 있는가?

주요 결과

Group	Benchmark	Phikon v2	UNI	Gigapath	RudolfV	Virchow2	H-optimus-0	Atlas
분자 관련	HEST-COAD	25.6	26.2	30.7	31.0	25.9	30.9	29.4
HEST-HCC	7.8	8.3	7.1	9.4	9.6	8.4	10.7
HEST-IDC	56.6	58.5	56.8	57.4	59.3	61.0	60.4
HEST-LUAD	54.8	55.2	55.8	57.7	56.9	57.3	58.0
HEST-LYMPH_IDC	24.8	25.8	25.1	25.6	25.9	26.8	26.4
HEST-PAAD	47.9	48.8	49.5	51.1	47.3	50.9	51.8
HEST-PRAD	37.7	32.2	38.4	37.7	35.1	38.5	38.4
HEST-READ	18.5	18.4	19.6	19.9	21.1	24.1	22.8
HEST-SKCM	58.4	63.5	58.8	61.8	63.7	66.1	62.5
HEST-ccRCC	27.3	25.3	24.9	25.3	27.4	29.0	29.4
MSI CRC (patch)	68.8	69.5	70.4	69.9	74.0	71.2	73.6
MSI STAD (patch)	71.2	70.5	71.0	74.1	74.8	73.6	76.0
Pan-cancer TIL	92.9	92.6	92.3	92.6	93.1	93.0	93.0
TCGA Uniform (10x)	64.0	68.6	69.1	70.6	73.0	70.4	71.8
TCGA Uniform (20x)	69.8	67.8	68.0	78.1	71.5	72.4	67.8
BACH	73.8	80.1	80.2	76.9	88.7	75.8	93.1
CRC-100k	95.5	95.4	95.9	96.0	96.7	96.2	97.1
MHIST	78.4	84.4	83.1	80.5	85.9	85.0	86.4
PCAM	90.0	93.6	94.5	94.6	93.9	94.3	94.9
CAMELYON16	79.8	85.0	82.1	77.1	86.5	84.0	86.8
PANDA	65.3	69.6	69.6	69.6	66.4	68.0	70.5
Morphology-average	-	-	-	-	-	-	-

• Atlas는 21개의 벤치마크에서 평균 61.9%의 성능을 달성하여 Virchow2와 H-Optimus-0를 평균 1.1포인트 차이로 능가한다.
• Atlas는 분자 및 형태 관련 작업에서 21개 벤치마크 중 11개에서 최상의 성능을 보이며, 다수의 다른 벤치마크에서 2위 이상의 성과를 기록한다.
• 분자 관련 작업에서 Atlas는 여러 HEST 작업에서 1위를 차지하고 전반적으로 상위 성능을 보여 다수의 벤치마크에서 상위 2위에 랭크된다.
• 형태학 관련 벤치마크에서 Atlas는 MSI CRC, MSI STAD, TCGA Uniform, BACH, CRC-100k, MHIST, PCAM, CAMELYON16, PANDA 등에서 다수의 데이터세트에서 최고 성능을 달성한다.
• Atlas의 성능은 매개변수 수나 데이터 규모 면에서 최대가 아니더라도 최첨단 모델에 근접하거나 이를 상회하여 다양한 학습 데이터에서의 강력한 일반화를 시사한다.