[논문 리뷰] Benchmarking Pathology Feature Extractors for Whole Slide Image Classification

Georg Wölflein, Dyke Ferber외 7명|St Andrews Research Repository (St Andrews Research Repository)|2023. 11. 20.

AI in cancer detection인용 수 7

한 줄 요약

이 연구는 약한 지도 학습 설정에서 전체 슬라이드 이미지(WSI) 분류를 위한 10개의 자기지도 학습(SSL) 특징 추출기의 벤치마크를 수행하며, 염색 정규화와 데이터 증강이 일관된 성능 향상 효과를 제공하지 않는 것으로 밝혀졌다. 최상의 모델인 Lunit-DINO와 CTransPath는 사전처리 없이도 최신 기술 수준의 성능을 달성하여 여분의 사전처리 단계를 제거함으로써 계산 비용을 줄이고, 염색 및 증강 변형에 대한 강건성을 유지한다.

ABSTRACT

Weakly supervised whole slide image classification is a key task in computational pathology, which involves predicting a slide-level label from a set of image patches constituting the slide. Constructing models to solve this task involves multiple design choices, often made without robust empirical or conclusive theoretical justification. To address this, we conduct a comprehensive benchmarking of feature extractors to answer three critical questions: 1) Is stain normalisation still a necessary preprocessing step? 2) Which feature extractors are best for downstream slide-level classification? 3) How does magnification affect downstream performance? Our study constitutes the most comprehensive evaluation of publicly available pathology feature extractors to date, involving more than 10,000 training runs across 14 feature extractors, 9 tasks, 5 datasets, 3 downstream architectures, 2 levels of magnification, and various preprocessing setups. Our findings challenge existing assumptions: 1) We observe empirically, and by analysing the latent space, that skipping stain normalisation and image augmentations does not degrade performance, while significantly reducing memory and computational demands. 2) We develop a novel evaluation metric to compare relative downstream performance, and show that the choice of feature extractor is the most consequential factor for downstream performance. 3) We find that lower-magnification slides are sufficient for accurate slide-level classification. Contrary to previous patch-level benchmarking studies, our approach emphasises clinical relevance by focusing on slide-level biomarker prediction tasks in a weakly supervised setting with external validation cohorts. Our findings stand to streamline digital pathology workflows by minimising preprocessing needs and informing the selection of feature extractors.

연구 동기 및 목표

• 전통적인 사전처리 단계인 염색 정규화와 데이터 증강이 약한 지도 학습 설정에서 WSI 분류의 최종 성능에 기여하는지 평가하는 것.
• 임상 수준의 히스토파스ولوج리 분류에 가장 강건하고 효율적인 특징 추출기를 규명하는 것.
• 과도한 사전처리 오버헤드를 최소화하면서도 모델 성능을 훼손하지 않고 디지털 병리학 워크플로우를 간소화하는 것.
• 다양한 병리학 데이터셋과 작업을 통해 공개된 SSL 특징 추출기의 종합적이고 외부 검증된 벤치마크를 제공하는 것.

제안 방법

• 9개의 전체 슬라이드 이미지 분류 작업에서 10개의 공개 SSL 특징 추출기(예: Lunit-DINO, CTransPath, ViT-ImageNet)를 실증적으로 평가한다.
• 10개의 특징 추출기, 5개의 증강 그룹, 3개의 통합 헤드(평균, AttMIL, 이중층 트랜스포머), 9개의 작업, 5개의 랜덤 시드를 기반으로 총 6,750개의 모델을 훈련한다.
• 실시간 특징 추출을 제거하기 위해 사전 추출된 패치 특징을 사용하여, 증강 또는 염색 정규화 유무에 관계없이 효율적인 훈련을 가능하게 한다.
• 외부 검증 코hort를 사용하여 성능을 비교함으로써 임상적 관련성과 일반화 능력을 확보한다.
• 원본 패치와 변환된 패치 간의 잠재 공간 유사도를 평가하여 염색 및 증강에 대한 강건성을 정량화한다.
• 세 가지 통합 방법을 적용: 전역 평균 풀링, 주의 기반 MIL(AttMIL), 잔여 연결과 레이어 정규화를 갖춘 이중층 트랜스포머.

실험 결과

연구 질문

• RQ1 염색 정규화는 SSL 기반 WSI 분류 모델의 성능을 향상시키는가?
• RQ2 회전 및 색상 왜곡과 같은 데이터 증강 기법은 병리학 특징 추출기의 일반화 능력을 향상시키는가?
• RQ3 SSL 기반 특징 추출기와 ImageNet 사전학습 모델 간의 강건성 및 최종 성능에서의 차이는 무엇인가?
• RQ4 다양한 히스토파스ولوج리 데이터셋에서 염색 및 이미지 변형에 가장 강건한 특징 추출기는 무엇인가?
• RQ5 약한 지도 학습에서 사전처리의 계산 오버헤드를 제거해도 모델 정확도에 손상이 가지 않는가?

주요 결과

• 평가한 9개 작업 전역에서 염색 정규화는 일관된 성능 향상 효과를 보이지 않아, 최고 성능을 내는 SSL 모델에선 불필요함을 시사한다.
• 회전 및 색상 왜곡을 포함한 이미지 증강 기법은 최종 성능 향상에 기여하지 않으며, 사전 추출된 특징에 적용할 경우 훈련 시간을 최대 30배까지 증가시킨다.
• Lunit-DINO와 CTransPath는 모든 작업에서 최고 성능을 기록하며, 염색 변형과 증강에 대해 가장 강건하며, ImageNet 사전학습 모델을 능가한다.
• 최상의 모델들은 특징을 사전처리 없이도 패치에서 추출해도 높은 성능를 유지하며, 메모리 및 계산 비용을 크게 절감할 수 있다.
• 최고의 SSL 모델의 잠재 공간은 증강에 대해 최소한의 변형을 보이며, 일반적인 변형에 대해 내재된 불변성을 보여준다.
• 이 연구는 9개의 작업, 5개의 데이터셋, 3개의 통합 아키텍처를 기반으로 총 6,750회의 훈련을 수행하여, 현재까지 공개된 병리학 SSL 특징 추출기의 가장 종합적인 강건성 평가를 제공한다.