[论文解读] An Overview and Case Study of the Clinical AI Model Development Life Cycle for Healthcare Systems

Charles Lu, Julia Strout+5 more|arXiv (Cornell University)|Mar 2, 2020

Artificial Intelligence in Healthcare and Education参考文献 12被引用 5

一句话总结

本文提出了一套全面的、与任务无关的临床人工智能模型开发生命周期，专为医疗系统设计，通过一项基于3D U-Net的深度学习模型检测CT扫描中主动脉瘤的案例研究加以说明。该框架强调迭代开发、临床医生参与的标注以及多阶段验证，在解决数据和标注质量挑战后，实现了在胸主动脉瘤检测中的高性能表现（Dice分数0.93，敏感性96%）。

ABSTRACT

Healthcare is one of the most promising areas for machine learning models to make a positive impact. However, successful adoption of AI-based systems in healthcare depends on engaging and educating stakeholders from diverse backgrounds about the development process of AI models. We present a broadly accessible overview of the development life cycle of clinical AI models that is general enough to be adapted to most machine learning projects, and then give an in-depth case study of the development process of a deep learning based system to detect aortic aneurysms in Computed Tomography (CT) exams. We hope other healthcare institutions and clinical practitioners find the insights we share about the development process useful in informing their own model development efforts and to increase the likelihood of successful deployment and integration of AI in healthcare.

研究动机与目标

• 通过形式化一种结构化、利益相关者参与的开发流程，弥合人工智能模型开发与临床部署之间的差距。
• 解决临床人工智能项目中数据稀缺、标注质量与模型泛化能力等挑战，特别是在医学影像领域。
• 提供一个可复用、可适应的框架，用于开发临床人工智能模型，整合临床专业知识、数据治理与迭代验证。
• 展示基于3D分割与直径测量的深度学习系统在胸腹部CT扫描中检测主动脉瘤的可行性与性能。
• 强调迭代优化，特别是标注质量与后处理流程，在实现高临床性能与临床接受度方面的重要性。

提出的方法

• 开发流程遵循结构化生命周期：可行性评估、获得IRB批准后的数据获取、队列选择、数据清洗，以及在临床医生监督下进行的标注。
• 采用类似3D U-Net的架构，对腹部和胸部CT检查中的主动脉进行体积分割，通过椭圆拟合进行后处理，以测量最大主动脉瘤直径。
• 为实现推理阶段的动态模型选择，训练了一个基于ResNet的分类器，用于在切片级别检测胸腹边界。
• 标注由接受过医学训练的人员在去标识化数据上完成，经临床专家审查，并在多个周期内进行迭代质量改进。
• 该流程包括迭代式数据收集、重新标注与模型重训练，以应对扫描仪制造商偏差和解剖复杂性等问题。
• 性能评估采用标准指标：Dice分数、敏感性与特异性，并在部署前进行临床验证及alpha/beta测试。

实验结果

研究问题

• RQ1 如何设计一种标准化、迭代式的开发生命周期，以支持具有多样化利益相关者的医疗系统中的临床人工智能项目？
• RQ2 在开发医学影像人工智能模型时，数据获取、标注质量与模型泛化能力方面面临的关键挑战是什么？
• RQ3 对标注与模型架构进行迭代优化，如何影响检测复杂解剖结构（如主动脉瘤）的性能？
• RQ4 临床医生参与的验证在确保模型可靠性与临床实用性方面发挥什么作用？
• RQ5 如何通过与现有临床工作流程与软件系统的集成，促进模型的部署？

主要发现

• 在首次开发迭代后，腹主动脉瘤检测模型在测试集上达到Dice分数0.9、敏感性91%与特异性95%。
• 在解决标注质量问题并改进后处理流程后，胸主动脉瘤模型的性能超过接受标准，Dice分数达0.93，敏感性96%，特异性95%。
• 基于ResNet的边界检测模型的引入，实现了对CT检查的准确路由，确保其被分配至合适的分割模型（胸或腹），从而提升了推理的可靠性。
• 首次迭代的数据整理与标注过程耗时超过9个月，其中大量时间用于人工验证与质量控制。
• 迭代式重新标注与临床专家审查对纠正解剖结构误标（如主动脉根部或弓部的过度或不足标注）至关重要。
• 在对1,000例回顾性病例完成alpha与beta测试后，最终系统成功集成至临床工作流软件，证明其具备部署准备就绪状态。