[论文解读] Clinical acceptance of software based on artificial intelligence technologies (radiology)

С. П. Морозов, Anton V. Vladzymyrskyy+5 more|arXiv (Cornell University)|Aug 1, 2019

Artificial Intelligence in Healthcare and Education参考文献 1被引用 12

一句话总结

本文提出了一套方法论框架，用于放射科中基于人工智能的软件的临床测试、接受度评估与科学评价，重点在于准确性和效率的评估，以支持其作为医疗器械的注册。该框架概述了通过结构化临床试验和性能基准对人工智能算法进行验证的标准化程序。

ABSTRACT

Aim: provide a methodological framework for the process of clinical tests, clinical acceptance, and scientific assessment of algorithms and software based on the artificial intelligence (AI) technologies. Clinical tests are considered as a preparation stage for the software registration as a medical product. The authors propose approaches to evaluate accuracy and efficiency of the AI algorithms for radiology.

研究动机与目标

• 解决在临床部署前缺乏对放射科中基于人工智能的软件进行评估的标准化程序的问题。
• 开发一种结构化的临床测试方法，使人工智能软件能够为作为医疗器械的注册做好准备。
• 在评估医学影像中人工智能算法的准确性和效率时，确保科学严谨性与临床相关性。
• 为放射科中人工智能系统的评估提供可重复且透明的流程，以支持监管和临床采纳。
• 建立与医疗器械标准和临床需求一致的性能基准与验证标准。

提出的方法

• 提出一个多阶段的临床测试框架，从临床前验证开始，逐步推进到受控的临床试验。
• 整合敏感性、特异性以及受试者工作特征曲线下面积（AUC）等性能指标，以评估诊断准确性。
• 定义标准化的数据收集与标注协议，以确保不同研究之间的一致性与可重复性。
• 实施分层评估流程，包括在多样化、真实世界影像数据集上进行独立验证。
• 应用统计方法评估算法在不同临床环境中的可靠性、泛化能力与鲁棒性。
• 建立临床表现与算法优化之间的反馈回路，以支持迭代改进。

实验结果

研究问题

• RQ1 何种方法论框架可确保对基于人工智能的放射科软件进行可靠且可重复的临床评估？
• RQ2 如何系统性地测试人工智能算法在监管批准前的准确性和效率？
• RQ3 从监管和临床实践的角度来看，哪些标准可定义放射科中人工智能软件的临床可接受性？
• RQ4 如何在不同的人工智能系统和影像模态之间实现性能指标的标准化？
• RQ5 临床验证在将人工智能软件从研究阶段过渡到受监管的医疗应用中发挥何种作用？

主要发现

• 所提出的框架能够实现人工智能软件的系统性临床测试，使其成为作为医疗器械注册的先决条件。
• 标准化的性能指标（如AUC、敏感性与特异性）对于客观评估诊断准确性至关重要。
• 在多样化、真实世界数据集上的临床验证可提高人工智能算法在放射科中的泛化能力与可靠性。
• 该框架通过临床表现数据的反馈支持人工智能模型的迭代优化。
• 临床前验证与临床试验之间的清晰区分增强了透明度与科学可信度。
• 该方法论与国际医疗器械评估标准保持一致，有助于监管机构的接受。