[논문 리뷰] A Clinical Benchmark of Public Self-Supervised Pathology Foundation Models

Gabriele Campanella, Shengjia Chen외 11명|arXiv (Cornell University)|2024. 07. 09.

Ethics in Clinical Research인용 수 6

한 줄 요약

이 논문은 임상 다기관 데이터셋에서 자기지도 학습으로 학습된 공개 병리 기초 모델들을 질병 탐지 및 바이오마커 예측 과제에서 벤치마킹하고, 성능과 자원 사용을 비교합니다. 또한 스케일링 동향과 데이터셋 영향력을 분석하여 모델 선정 및 향후 벤치마크에 대한 가이드를 제시합니다.

ABSTRACT

The use of self-supervised learning (SSL) to train pathology foundation models has increased substantially in the past few years. Notably, several models trained on large quantities of clinical data have been made publicly available in recent months. This will significantly enhance scientific research in computational pathology and help bridge the gap between research and clinical deployment. With the increase in availability of public foundation models of different sizes, trained using different algorithms on different datasets, it becomes important to establish a benchmark to compare the performance of such models on a variety of clinically relevant tasks spanning multiple organs and diseases. In this work, we present a collection of pathology datasets comprising clinical slides associated with clinically relevant endpoints including cancer diagnoses and a variety of biomarkers generated during standard hospital operation from two medical centers. We leverage these datasets to systematically assess the performance of public pathology foundation models and provide insights into best practices for training new foundation models and selecting appropriate pretrained models.

연구 동기 및 목표

• 다수의 기관과 질병에 걸친 임상적으로 관련된 과제에서 공개 병리 기초 모델의 성능을 평가한다.
• 다른 SSL 알고리즘과 데이터세트로 학습된 모델을 비교하여 학습 및 모델 선택의 최적 관행을 식별한다.
• 모델 크기와 학습 자원이 다운스트림 임상 과제 성능과 어떤 관련이 있는지 평가한다.
• 계산 병리학의 향후 모델 개발을 위한 실시간 벤치마크 및 가이드를 제공한다.

제안 방법

• 주어진 기초 모델을 사용하여 슬라이드 수준 조직 타일(20x)을 특징 표현으로 임베딩한다.
• Gated MIL Attention(GMA)로 타일 특징을 집계하고 슬라이드 수준 예측을 위한 선형 분류기를 적용한다.
• 일반화를 추정하기 위해 20 폴드 몬테카를로 교차검증을 사용한다(폴드당 80% 학습, 20% 검증).
• AdamW 옵티마이저, 워밍업이 포함된 코사인 감소 스케줄로 각 작업/모델당 1 GPU에서 50 에포크 학습한다.

Figure 1: Benchmarking Results: Detection Tasks.

실험 결과

연구 질문

• RQ1 기관과 암 유형에 걸친 질병 탐지 및 바이오마커 예측에서 공개 병리 기초 모델은 어떻게 비교되는가?
• RQ2 프리트레이닝 데이터 크기와 아키텍처가 다운스트림 임상 과제 성능에 어떤 영향을 미치는가?
• RQ3 더 큰 모델이 바이오마커 예측 과제에서 일관되게 성능을 향상시키는가, 프리트레이닝 데이터셋 구성이 이와 어떻게 영향을 미치는가?
• RQ4 계산 자원과 학습 비용이 병리학 SSL 모델의 다운스트림 성능과 어떤 관련이 있는가?
• RQ5 표준화된 실시간 벤치마크가 임상 배치를 위한 모델 선택을 효과적으로 안내할 수 있는가?

주요 결과

• DINO 및 DINOv2로 학습된 모델은 탐지 과제에서 비교 가능한 성능을 보이며, ImageNet 또는 CTransPath 사전학습 인코더는 평균적으로 성능이 떨어진다.
• 탐지 과제의 경우 모델 크기에 따른 스케일링 이점이 거의 없다; SP21M/SP22M 같은 작은 모델이 이러한 과제에서 큰 모델과 비슷한 성능을 보인다.
• 바이오마커 예측 과제는 더 큰 변동성을 보이며, UNI와 Prov-GigaPath가 보통 다른 모델보다 우수한 경우가 많고, 특히 조직 표현이 프리트레이닝 데이터와 일치할 때(예: 폐) 더 그렇다.
• Ici 결과(ICI 반응) 예측은 모델 전반에 걸쳐 여전히 도전적이며 NSCLC 코호트에서 AUC가 우연 수준에 가깝다.
• 프리트레이닝 데이터셋 구성이 바이오마커 성능에 상당한 영향을 미칠 수 있으며, 프리트레이닝 데이터의 조직 발생 비율이 과제 결과에 영향을 준다.
• 더 큰 모델은 일부 바이오마커 과제에 도움이 될 수 있지만 이점은 과제에 따라 다르고 데이터 구성에 의해 교란될 수 있다.
• 모든 모델에 걸쳐, 계산 자원을 증가시켜도 탐지나 바이오마커 예측의 다운스트림 성능이 보편적으로 향상되지는 않았다.

Figure 2: Benchmarking Results: Biomarker Prediction Tasks.