[논문 리뷰] When is a Foundation Model a Foundation Model

Saghir Alfasly, Peyman Nejat외 14명|arXiv (Cornell University)|2023. 09. 14.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 CLIP 및 그 변종과 같은 기초 모델(FMs)이 디지털 병리학에서 기존의 딥 네트워크보다 진짜로 우월한가를 조사한다. 막대한 규모와 광범위한 데이터에 대한 사전 훈련에도 불구하고, PLIP와 BiomedCLIP와 같은 모델들은 KimiaNet와 DinoSSLPath와 같은 더 작은, 과제에 특화된 네트워크보다 전장 슬라이드 이미지(WSI) 검색 과제에서 성능이 열 劣함을 보이며, 이는 병리학 표현 학습을 위한 데이터 품질과 도메인 특화 미세조정이 모델 크기보다 더 중요하다는 것을 시사한다.

ABSTRACT

Recently, several studies have reported on the fine-tuning of foundation models for image-text modeling in the field of medicine, utilizing images from online data sources such as Twitter and PubMed. Foundation models are large, deep artificial neural networks capable of learning the context of a specific domain through training on exceptionally extensive datasets. Through validation, we have observed that the representations generated by such models exhibit inferior performance in retrieval tasks within digital pathology when compared to those generated by significantly smaller, conventional deep networks.

연구 동기 및 목표

• 다양하고 임상적이지 않은 데이터 소스(예: 소셜 미디어)에서 훈련된 기초 모델(FMs)이 병리학 표현 학습에서 기존의 딥 네트워크를 능가하는가를 평가하는 것.
• CLIP, BiomedCLIP, PLIP와 같은 기초 모델이 환자 매칭을 위한 전장 슬라이드 이미지(WSI) 검색에서 얼마나 효과적인가를 평가하는 것.
• 고품질 임상 병리학 데이터에서 훈련된 더 작은, 과제에 특화된 모델들(예: KimiaNet, DinoSSLPath)과 기초 모델의 성능을 비교하는 것.
• 의료 영상 과제에서 하류 정확도를 기준으로 WSI 간 매칭 성능을 측정했을 때, '기초 모델'이라는 레이블이 타당한가를 조사하는 것.
• 데이터 품질과 도메인 특화성이 디지털 병리학을 위한 최적의 표현을 얻기 위해 모델 규모와 사전 훈련 범위를 초월하는가를 결정하는 것.

제안 방법

• 공개 병리학 커뮤니티와 온라인 자료에서 확보한 조직학 영상으로 기초 모델 CLIP, BiomedCLIP, PLIP를 미세조정하였다.
• TCGA 레포지토리에서 감독 학습과 자기지도 학습을 각각 사용하여 기존 모델인 KimiaNet(DenseNet 기반)과 DinoSSLPath(Vision Transformer 기반)를 훈련시켰다.
• CLIP, BiomedCLIP, PLIP, DinoSSLPath, KimiaNet를 사용하여 전장 슬라이드 이미지(WSIs)에서 패치 수준의 특징을 추출하였다.
• Yottixel 검색 엔진을 적용하여 '모자자른 패치' 방식과 '최소값의 중앙값' 매칭 방식을 사용해 WSI 간 검색을 수행하였다.
• 내부 및 공개 데이터셋에서 이탈한 환자 외부 교차 검증과 F1 스코어(MV@k)를 사용해 성능을 평가하였다.
• 정밀도와 재현율을 모두 반영하기 위해, 상위-k개의 검색된 WSI들 중 다수결 투표(MV@k) 방식을 사용해 평균 F1 스코어를 계산하였다.

실험 결과

연구 질문

• RQ1 비임상적이고 인터넷 기반의 조직학 데이터로 미세조정된 기초 모델이 WSI 간 검색 과제에서 기존의 딥 네트워크를 능가하는가?
• RQ2 기초 모델의 성능이 사전 훈련 데이터의 품질과 임상적 관련성에 의해 제한되는가?
• RQ3 KimiaNet과 DinoSSLPath와 같은 더 작은, 과제에 특화된 모델들이 병리학 표현 학습에서 기초 모델을 능가할 수 있는가?
• RQ4 의료 영상에서 진정한 기초 모델이라 할 수 있는 조건은 무엇인가—성능 기반인가, 데이터 품질 기반인가?
• RQ5 하류 진단 과제에서 성능이 더 작은, 도메인 특화 모델에 뒤지는데도 '기초 모델'이라는 레이블이 타당한가?

주요 결과

• KimiaNet은 내부 피부암 데이터셋에서 최고의 Top-1 정확도(78%)를 기록했으며, PLIP(63%)와 CLIP(62%)를 모두 능가했다.
• DinoSSLPath는 내부 간질환 데이터셋에서 최고의 성능을 보이며 Top-1 정확도 65%를 기록했고, PLIP(59%)와 BiomedCLIP(59%)를 초월했다.
• 공개 DigestPath CTS 데이터셋에서 DinoSSLPath는 최고의 MV@5 스코어(91.5%)를 기록했으며, PLIP(84.1%)와 BiomedCLIP(87.2%)를 능가했다.
• 공개 DigestPath SRCC 데이터셋에서 DinoSSLPath는 MV@5 스코어 98.8%를 기록했고, PLIP(90.8%)와 BiomedCLIP(95.4%)를 크게 앞섰다.
• 내부 데이터셋에서 KimiaNet는 가장 높은 총 F1 스코어(65% ± 6%)를 기록했으며, PLIP(60% ± 6%)와 CLIP(55% ± 10%)를 모두 앞섰다.
• 공개 데이터셋에서 DinoSSLPath는 가장 높은 총 F1 스코어(82.3% ± 22%)를 기록했으며, PLIP(79.1% ± 23%)와 BiomedCLIP(78.7% ± 22%)를 능가했다.