[论文解读] Rethinking Machine Learning Model Evaluation in Pathology

Syed Ashar Javed, Dinkar Juyal+4 more|arXiv (Cornell University)|Apr 11, 2022

AI in cancer detection被引用 6

一句话总结

本文提出了一套全面的、针对病理学的模型评估框架，解决了图像尺寸大、标签可变性、混杂因素和领域偏移等挑战。该框架引入了测试集设计、混杂因素感知评估以及鲁棒性测试（包括可重复性、可再现性和扰动分析）的指南，以确保模型在标准指标之外具备临床可靠性。

ABSTRACT

Machine Learning has been applied to pathology images in research and clinical practice with promising outcomes. However, standard ML models often lack the rigorous evaluation required for clinical decisions. Machine learning techniques for natural images are ill-equipped to deal with pathology images that are significantly large and noisy, require expensive labeling, are hard to interpret, and are susceptible to spurious correlations. We propose a set of practical guidelines for ML evaluation in pathology that address the above concerns. The paper includes measures for setting up the evaluation framework, effectively dealing with variability in labels, and a recommended suite of tests to address issues related to domain shift, robustness, and confounding variables. We hope that the proposed framework will bridge the gap between ML researchers and domain experts, leading to wider adoption of ML techniques in pathology and improving patient outcomes.

研究动机与目标

• 弥合病理学中机器学习评估标准的空白，因为标准指标在图像复杂性和临床影响面前失效。
• 减轻虚假相关性、混杂因素和数据集偏差带来的风险，这些因素会损害模型在真实世界场景中的泛化能力。
• 通过将评估与临床应用场景对齐，促进机器学习研究人员与病理学家之间的协作。
• 开发一个实用的评估框架，确保模型在临床部署前具备可靠性、可解释性和安全性。

提出的方法

• 将评估设置与预期临床用途对齐——例如，对于分诊工具使用Precision@K%Recall而非准确率。
• 通过整合生物学、成像和临床元数据，构建丰富且具备混杂因素意识的测试集，以检测隐藏的分层结构。
• 实施可重复性和可再现性测试，以评估在已知和未知变化（如染色、扫描、GPU非确定性）下的表现一致性。
• 应用合成扰动（如染色变化、噪声、裁剪）以评估模型对现实世界图像变化的鲁棒性。
• 通过在非判别性区域（如背景或非癌变组织）上进行训练，开展负向对照实验，以检测虚假相关性。
• 整合敏感性测试和分布外测试，以评估模型在分布偏移和边缘情况下的行为。

实验结果

研究问题

• RQ1 如何重构病理学中的机器学习评估，以反映超越标准指标的真实临床部署需求？
• RQ2 染色方案或组织亚型等混杂因素在产生虚假相关性方面起到什么作用，以及如何检测它们？
• RQ3 标准评估实践在多大程度上无法捕捉模型在染色或扫描差异等图像级变化下的鲁棒性？
• RQ4 负向对照实验在识别病理学机器学习模型中的隐藏偏差和虚假特征方面有何作用？
• RQ5 何种评估框架可确保模型在不同患者亚群和临床情境下的可靠性？

主要发现

• 标准指标（如准确率或AUROC）不足以支持临床部署，可能掩盖低患病率亚组中的表现不佳。
• 通过整合元数据（如年龄、扫描仪类型、染色方案）丰富后的测试集，可揭示隐藏的分层结构，并提升对代表性不足人群模型失效的检测能力。
• 在非诊断区域（如背景或非肿瘤组织）上训练的模型应表现不佳；若此类负向对照失败，则表明存在虚假学习。
• 可重复性和可再现性测试可暴露由硬件、软件或图像块采样随机性引起的一致性问题，揭示预测结果的不稳定性。
• 对合成扰动的鲁棒性与真实世界中的鲁棒性相关，使其成为评估图像变化下泛化能力的可行代理指标。
• 如胰腺导管腺癌中的KRAS突变，可能通过图像特征被虚假预测，若未经测试，将导致误导性的模型性能表现。