[논문 리뷰] RudolfV: A Foundation Model by Pathologists for Pathologists

Jonas Dippel, Barbara Feulner외 18명|arXiv (Cornell University)|2024. 01. 08.

Zoonotic diseases and public health인용 수 24

한 줄 요약

RudolfV는 병리학 기초 모델을 병리학자의 안내에 따른 그룹화 및 염색 인식 증강이 적용된 큐레이션된 다양하고 비레이블된 데이터 세트에서 사전 학습하여, 이전 연구들보다 더 적은 슬라이드와 더 작은 모델로도 강력한 벤치마크를 달성합니다.

ABSTRACT

Artificial intelligence has started to transform histopathology impacting clinical diagnostics and biomedical research. However, while many computational pathology approaches have been proposed, most current AI models are limited with respect to generalization, application variety, and handling rare diseases. Recent efforts introduced self-supervised foundation models to address these challenges, yet existing approaches do not leverage pathologist knowledge by design. In this study, we present a novel approach to designing foundation models for computational pathology, incorporating pathologist expertise, semi-automated data curation, and a diverse dataset from over 15 laboratories, including 58 tissue types, and encompassing 129 different histochemical and immunohistochemical staining modalities. We demonstrate that our model "RudolfV" surpasses existing state-of-the-art foundation models across different benchmarks focused on tumor microenvironment profiling, biomarker evaluation, and reference case search while exhibiting favorable robustness properties. Our study shows how domain-specific knowledge can increase the efficiency and performance of pathology foundation models and enable novel application areas.

연구 동기 및 목표

• Robust histopathology AI를 촉진하기 위해 Lab 간 데이터 부족 및 데이터 세트 시프트(스테인, 스캐너)에 대응합니다.
• 병리학자의 입력으로 비레이블 데이터의 다양성을 큐레이션하여 자기지도 학습을 향상시킵니다.
• 도메인 지식을 데이터 그룹화, 클러스터링 및 증강에 통합하여 일반화를 강화합니다.
• 공개 및 내부 벤치마크에서 기초 모델을 평가하고 최첨단과 비교합니다.

제안 방법

• 103,849장의 전체 슬라이드 이미지(WSI)와 791백만 개의 패치를 15개의 EU/US 연구실에서 3가지 염색 카테고리(H&E, IHC, others)로 큐레이션합니다.
• 슬라이드를 26개의 의미적으로 일관된 슬라이드 그룹으로 분류하여 그룹 내 균질성과 그룹 간 이질성을 보장합니다.
• 패치를 36가지 컴퓨터 비전 특징으로 클러스터링하고, 슬라이드당 500패치를 샘플링하며, k-means(k=100)를 수행하고 병리학자들이 샘플링 가중치를 반영한 9개의 조직 클러스터를 할당합니다.
• 패치 간 염색/색상 프로필을 전이하고 방향성 증강을 적용하여 학습을 증강합니다; DINOv2 학습에서 솔라라이제이션을 제거합니다.
• 이전 SSL 가중치에서 초기화된 ViT-L/14를 DINOv2 자기지도 프레임워크로 625k 반복 및 배치 크기 960으로 사전 학습합니다.

실험 결과

연구 질문

• RQ1 병리학자의 안내에 따른 데이터 큐레이션으로 학습된 기초 모델이 더 크고 덜 큼레이션된 모델보다 히스토패토로지(Task)에 대해 더 우수한 성능을 보일 수 있는가?
• RQ2 비-H&E 염색 및 명시적 염색/색상 증강을 도입하면 염색 불변성과 다운스트림 성능이 향상되는가?
• RQ3 큐레이션된 패치/슬라이드 그룹화가 다양한 히스토패토로지 데이터의 SSL 표현 학습에 어떤 영향을 미치는가?
• RQ4 도메인 인식 증강 및 패치 샘플링이 공개 및 내부 벤치마크로의 일반화에 어떤 영향을 미치는가?

주요 결과

• RudolfV는 동일한 벤치마크에서 공개 벤치마크에 대해 경쟁력 있는 성능을 달성하면서도 슬라이드 수를 대폭 줄이고 더 작은 모델을 사용합니다.
• 공개 태스크(PCAM, MHIST, CRC-100K, TIL Det., MSI CRC, MSI STAD)에서 선형 탐색(Linear Probing) 시 RudolfV는 각각 0.928, 0.827, 0.960, 0.939, 0.766, 0.768의 성능을 달성하며 평균은 0.905입니다.
• 내부 IHC/HE 세포 분류 태스크에서 RudolfV는 퍼블릭 태스크의 미세조정 및 선형 탐색 모두에서 경쟁자보다 높은 정확도를 보입니다(IHC: 미세조정 0.8745 vs 선형 0.6567; HE: 미세조정 0.8864 vs 선형 0.7352).
• Phikon 및 ViT/DINO 기본값과 비교했을 때 RudolfV는 대부분의 벤치마크에서 현저한 이득을 보여 병리학 도메인 지식의 효과적 통합을 시사합니다.
• 저자들은 더 큰 데이터와 모델로 추가 이득이 있을 것으로 예상하며, 실제 진단 및 다중 모달 작업지원을 위한 배포를 예측합니다.