[论文解读] Benchmarking Domain Generalization Algorithms in Computational Pathology

Neda Zamanitajeddin, Mostafa Jahanifar+3 more|arXiv (Cornell University)|Sep 25, 2024

AI in cancer detection被引用 4

一句话总结

本研究采用统一且稳健的框架，对30种领域自适应（DG）算法在三个计算病理学任务中进行了基准测试，涵盖广泛的交叉验证。自监督学习和染色增强方法始终优于其他方法，而预训练基础模型展现出强大潜力，为组织病理学人工智能中的DG策略选择提供了实用指导。

ABSTRACT

Deep learning models have shown immense promise in computational pathology (CPath) tasks, but their performance often suffers when applied to unseen data due to domain shifts. Addressing this requires domain generalization (DG) algorithms. However, a systematic evaluation of DG algorithms in the CPath context is lacking. This study aims to benchmark the effectiveness of 30 DG algorithms on 3 CPath tasks of varying difficulty through 7,560 cross-validation runs. We evaluate these algorithms using a unified and robust platform, incorporating modality-specific techniques and recent advances like pretrained foundation models. Our extensive cross-validation experiments provide insights into the relative performance of various DG strategies. We observe that self-supervised learning and stain augmentation consistently outperform other methods, highlighting the potential of pretrained models and data augmentation. Furthermore, we introduce a new pan-cancer tumor detection dataset (HISTOPANTUM) as a benchmark for future research. This study offers valuable guidance to researchers in selecting appropriate DG approaches for CPath tasks.

研究动机与目标

• 解决计算病理学（CPath）领域中对领域自适应（DG）算法缺乏系统性评估的问题。
• 利用统一且稳健的实验平台，评估30种DG算法在三个难度各异的CPath任务中的有效性。
• 基于在多种领域偏移类型下的实证性能，为选择DG策略提供可操作的建议。
• 提出一个新的泛癌肿瘤检测数据集HISTOPANTUM，作为未来CPath研究的基准。
• 评估模态特定技术（如染色增强）以及最近的进展（如预训练基础模型）在病理学领域自适应中的影响。

提出的方法

• 改造DomainBed框架以支持CPath特定的DG算法，包括染色归一化和增强。
• 采用统一的训练与评估流程，涵盖三个不同的CPath任务：二分类组织学分类、组织分割和细胞核检测，共7,560次交叉验证运行。
• 引入模态特定的数据增强技术，特别是染色增强，以提升对染色差异的鲁棒性。
• 使用F1分数作为主要指标，以确保对类别不平衡的鲁棒性。
• 集成自监督学习（SSL），采用在TCGA图像块上预训练的ResNet50模型作为强基线。
• 在基准测试框架中纳入最新的SOTA DG方法以及病理学特定方法（如CausIRL_CORAL、ARM、EQRM）。

实验结果

研究问题

• RQ1 在三个具有不同难度的多样化计算病理学任务中，30种不同的领域自适应算法表现如何？
• RQ2 在CPath中，哪些DG策略——尤其是自监督学习、数据增强或基于模型的不变性学习——能实现最一致且稳健的性能？
• RQ3 模态特定技术（如染色增强）在提升对未见染色方案和扫描仪的泛化能力方面效果如何？
• RQ4 在组织病理学图像分析背景下，预训练基础模型的性能与其它DG方法相比如何？
• RQ5 哪些DG算法对超参数敏感性最低，并在多次运行和多个数据集上表现出可靠的收敛性？

主要发现

• 自监督学习（SSL）和染色增强在所有三个CPath任务中均持续优于其他DG方法，展现出在领域偏移下的强大泛化能力。
• 基线经验风险最小化（ERM）方法取得了具有竞争力的性能，凸显了正确基线实现和实验设计的重要性。
• ARM、CausIRL_CORAL、Transfer和EQRM等算法表现出高度的收敛稳定性，且对超参数调优不敏感，是实际部署的可靠选择。
• IGA和SANDMask对超参数高度敏感且收敛概率低，表明其在CPath应用中的实际用途有限。
• 所提出的HISTOPANTUM数据集为泛癌肿瘤检测提供了新的大规模基准，支持未来在领域自适应方面的研究。
• 尽管ResNet50被用作固定特征提取器，但本研究建议未来可尝试用更新的基础模型替代，以进一步提升性能，表明这是未来工作的有前景方向。