[论文解读] Benchmarking Pathology Feature Extractors for Whole Slide Image Classification

Georg Wölflein, Dyke Ferber+7 more|St Andrews Research Repository (St Andrews Research Repository)|Nov 20, 2023

AI in cancer detection被引用 7

一句话总结

本研究在弱监督设置下对10种自监督学习（SSL）特征提取器在全切片图像（WSI）分类中的表现进行了基准测试，结果表明，染色归一化和数据增强并未带来一致的性能提升。表现最佳的模型——Lunit-DINO 和 CTransPath——在无需预处理的情况下实现了最先进性能，通过消除冗余的预处理步骤显著降低了计算成本，同时在染色和增强变化下保持了鲁棒性。

ABSTRACT

Weakly supervised whole slide image classification is a key task in computational pathology, which involves predicting a slide-level label from a set of image patches constituting the slide. Constructing models to solve this task involves multiple design choices, often made without robust empirical or conclusive theoretical justification. To address this, we conduct a comprehensive benchmarking of feature extractors to answer three critical questions: 1) Is stain normalisation still a necessary preprocessing step? 2) Which feature extractors are best for downstream slide-level classification? 3) How does magnification affect downstream performance? Our study constitutes the most comprehensive evaluation of publicly available pathology feature extractors to date, involving more than 10,000 training runs across 14 feature extractors, 9 tasks, 5 datasets, 3 downstream architectures, 2 levels of magnification, and various preprocessing setups. Our findings challenge existing assumptions: 1) We observe empirically, and by analysing the latent space, that skipping stain normalisation and image augmentations does not degrade performance, while significantly reducing memory and computational demands. 2) We develop a novel evaluation metric to compare relative downstream performance, and show that the choice of feature extractor is the most consequential factor for downstream performance. 3) We find that lower-magnification slides are sufficient for accurate slide-level classification. Contrary to previous patch-level benchmarking studies, our approach emphasises clinical relevance by focusing on slide-level biomarker prediction tasks in a weakly supervised setting with external validation cohorts. Our findings stand to streamline digital pathology workflows by minimising preprocessing needs and informing the selection of feature extractors.

研究动机与目标

• 评估传统预处理步骤（如染色归一化和数据增强）是否能提升弱监督WSI分类中的下游性能。
• 识别适用于临床级组织病理学分类的最鲁棒且高效的特征提取器。
• 通过最小化预处理开销，简化数字病理学工作流程，同时不牺牲模型性能。
• 在多样化的病理学数据集和任务上，提供公开SSL特征提取器的全面、外部验证基准。

提出的方法

• 在九个全切片图像分类任务上，对10种公开的SSL特征提取器（如Lunit-DINO、CTransPath、ViT-ImageNet）进行实证评估。
• 在10种特征提取器、5组增强方式、3种聚合头（平均池化、AttMIL、两层Transformer）、9项任务和5个随机种子下，训练共计6,750个模型。
• 使用预先提取的图像块特征，避免在线特征提取，从而实现无需增强或染色归一化的高效训练。
• 通过外部验证队列比较性能，以确保临床相关性和泛化能力。
• 通过计算原始图像块与变换后图像块之间的潜在空间相似性，量化对染色和增强的鲁棒性。
• 应用三种聚合方法：全局平均池化、基于注意力的MIL（AttMIL），以及带有残差连接和层归一化的两层Transformer。

实验结果

研究问题

• RQ1 染色归一化是否能提升基于SSL的WSI分类模型的性能？
• RQ2 如旋转和色彩抖动等数据增强是否能增强病理学特征提取器的泛化能力？
• RQ3 在鲁棒性和下游性能方面，基于SSL的特征提取器与ImageNet预训练模型相比如何？
• RQ4 在多种组织病理学数据集中，哪种特征提取器对染色和图像变换变化最具鲁棒性？
• RQ5 在弱监督学习中，能否在不牺牲模型准确性的前提下，消除预处理的计算开销？

主要发现

• 在评估的九项任务中，染色归一化未带来任何一致的性能提升，表明对表现最佳的SSL模型而言，该步骤并非必要。
• 图像增强（包括旋转和色彩抖动）未提升下游性能，且在预提取特征上应用时，训练时间最高增加30倍。
• Lunit-DINO 和 CTransPath 在所有任务中均表现最佳，且对染色变化和增强具有最强鲁棒性，优于ImageNet预训练模型。
• 最佳模型即使在未进行任何预处理的图像块上提取特征时，仍能保持高性能，显著降低了内存和计算成本。
• 顶级SSL模型的潜在空间在增强操作下扰动极小，表明其对常见变换具有内在不变性。
• 本研究在九项任务、五个数据集和三种聚合架构下，共完成6,750次训练运行，是迄今为止对公开病理学SSL特征提取器最全面的鲁棒性评估。