[论文解读] How I failed machine learning in medical imaging -- shortcomings and recommendations

Gaël Varoquaux, Veronika Cheplygina|arXiv (Cornell University)|Mar 18, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 90被引用 4

一句话总结

本文批判性地审视了医学影像中机器学习的不足之处，识别出数据集偏差、评价方法缺陷以及发表激励错配是阻碍其临床影响的关键障碍。文章提出了可操作的改进建议，例如提升数据多样性、采用更广泛的评价指标以及实施预注册研究，以使研究更契合真实临床需求，提升可重复性和可靠性。

ABSTRACT

Medical imaging is an important research field with many opportunities for improving patients' health. However, there are a number of challenges that are slowing down the progress of the field as a whole, such optimizing for publication. In this paper we reviewed several problems related to choosing datasets, methods, evaluation metrics, and publication strategies. With a review of literature and our own analysis, we show that at every step, potential biases can creep in. On a positive note, we also see that initiatives to counteract these problems are already being started. Finally we provide a broad range of recommendations on how to further these address problems in the future. For reproducibility, data and code for our analyses are available on \url{https://github.com/GaelVaroquaux/ml_med_imaging_failures}

研究动机与目标

• 识别医学影像机器学习研究中的系统性缺陷，这些缺陷尽管研究产出持续增长，却仍阻碍其临床转化。
• 分析数据集偏差、方法论缺陷以及发表激励如何共同削弱机器学习模型的可靠性与实际应用性。
• 提出具体且基于证据的建议，以改进数据选择、评价实践和发表规范，从而增强临床相关性与可重复性。
• 推动研究重点从发表‘最先进’结果转向采用稳健、透明且可泛化的技术，解决具有临床意义的问题。

提出的方法

• 基于六项系统综述的478项研究开展元分析，评估阿尔茨海默病分类中样本量与诊断准确率的趋势。
• 利用先前研究和案例研究的证据，分析多个医学影像领域（如胸部X光、脑部MRI、眼底成像）中的数据集偏差。
• 评估模型评价中的方法论缺陷，包括对准确率的过度依赖、缺乏校准指标，以及对不确定性与误差范围报告不足。
• 通过分析引用模式、p值分布以及顶级计算机科学期刊中“文件抽屉效应”的普遍性，探讨发表规范。
• 提出解决方案，如预注册报告、更广泛的评价指标（例如校准度、学习曲线），以及鼓励发表负面结果或复现研究。
• 利用GitHub上公开的代码与数据，确保研究结果的可重复性与透明性。

实验结果

研究问题

• RQ1 为何阿尔茨海默病研究中数据集规模持续扩大，却未带来诊断准确率的提升，特别是在区分进展性与稳定型轻度认知障碍等临床相关子任务上？
• RQ2 数据集偏差（如扫描仪差异或人口统计不平衡）在多大程度上削弱了医学影像中机器学习模型的泛化能力？
• RQ3 发表激励（如必须报告‘最先进’结果或仅发表阳性发现）如何扭曲方法论严谨性与临床相关性？
• RQ4 除准确率外，哪些评价指标可提升医学影像机器学习模型的可靠性与可解释性？
• RQ5 研究规范的哪些改变（如预注册、开放报告以及接受负面结果）可显著提升机器学习研究的临床影响？

主要发现

• 尽管阿尔茨海默病研究的样本量持续增加，但区分进展性与稳定型轻度认知障碍的预测准确率并未提升，甚至在更大规模研究中表现更差。
• 数据集偏差（如扫描仪协议差异或患者人口统计不平衡）显著降低模型泛化能力，导致在某一扫描仪或队列上训练的模型在其他场景下表现不佳。
• 对410篇顶级ACM论文的元分析显示，97%的研究报告的p值低于0.05，表明存在强烈的阳性结果发表偏倚，令人对报告结果的可靠性产生担忧。
• 许多医学影像中的机器学习模型性能提升幅度小于固有的评价误差，表明报告的增益可能既无统计显著性也无临床意义。
• 过度依赖准确率作为主要指标，且缺乏校准度或不确定性报告，导致对模型性能的过度自信，阻碍其临床部署。
• 预注册、更广泛的评价指标以及接受负面或复现研究，可显著提升研究透明度，并减少医学人工智能领域的技术债务。