[论文解读] Generalization in medical AI: a perspective on developing scalable models

Zvuloni, Eran, Leo Anthony Celi+1 more|arXiv (Cornell University)|Nov 9, 2023

Machine Learning in Healthcare被引用 4

一句话总结

本文提出一个三层框架，用于评估医疗人工智能中的分布外泛化能力，根据数据可用性和领域偏移情况对模型性能进行分类。该框架为研究人员提供了一套结构化方法，以评估和提升医疗AI模型在多样化临床环境中的可扩展性。

ABSTRACT

The scientific community is increasingly recognizing the importance of generalization in medical AI for translating research into practical clinical applications. A three-level scale is introduced to characterize out-of-distribution generalization performance of medical AI models. This scale addresses the diversity of real-world medical scenarios as well as whether target domain data and labels are available for model recalibration. It serves as a tool to help researchers characterize their development settings and determine the best approach to tackling the challenge of out-of-distribution generalization.

研究动机与目标

• 解决医疗AI中分布外泛化这一关键挑战，该挑战阻碍了其在真实临床环境中的部署。
• 认识到当前的评估方法无法全面捕捉真实世界医疗数据的多样性及部署条件。
• 开发一种标准化量表，用于表征在不同程度领域偏移和数据可用性下的模型泛化性能。
• 指导研究人员根据目标领域数据和标签可用性，选择合适的模型开发与校准策略。
• 推动构建可扩展、稳健的医疗AI系统，使其在多样化医疗环境中均能可靠运行。

提出的方法

• 提出一个三层量表，用于对医疗AI模型的分布外泛化性能进行分类。
• 一级：模型在与训练数据同分布的数据上进行评估，无领域偏移。
• 二级：模型在分布外数据上进行测试，但无法获取目标领域标签以进行再校准。
• 三级：模型在分布外数据上进行评估，且可访问目标领域标签，用于微调或再校准。
• 利用该框架，根据真实世界部署约束，指导模型开发、选择与评估。
• 将该量表视为一种诊断工具，帮助研究人员将模型设计与临床部署现实相匹配。

实验结果

研究问题

• RQ1 如何系统性地对医疗AI模型在不同程度领域偏移下的泛化性能进行分类？
• RQ2 访问目标领域标签在提升分布外泛化能力方面起到何种作用？
• RQ3 研究人员如何根据数据可用性和部署环境选择合适的模型开发策略？
• RQ4 该三层框架在多大程度上提升了医疗AI系统的可扩展性与临床可转化性？
• RQ5 该框架如何支持研究模型向真实临床应用的转化？

主要发现

• 该三层框架提供了一种标准化方式来表征分布外泛化能力，显著提升了模型评估的清晰度。
• 在二级（无目标标签）的模型在新领域部署时面临显著的性能下降，凸显了对强大领域自适应能力的需求。
• 在三级（有目标标签）的模型表现出更优的泛化能力，表明访问领域特定数据可实现有效的再校准。
• 该框架使研究人员能够根据部署约束和数据可用性，识别最合适的开发策略。
• 通过将模型开发与真实临床环境对齐，该框架显著提高了临床转化的成功概率。
• 该方法通过系统性应对数据多样性与分布偏移的挑战，支持了可扩展的模型开发。