[论文解读] Machine learning and AI research for Patient Benefit: 20 Critical Questions on Transparency, Replicability, Ethics and Effectiveness

Sebastian J. Vollmer, Bilal A. Mateen+16 more|arXiv (Cornell University)|Dec 21, 2018

Artificial Intelligence in Healthcare and Education参考文献 33被引用 17

一句话总结

本文提出20个关键问题，以提升医疗健康领域机器学习与人工智能研究的透明度、可复现性、伦理性和有效性。该框架贯穿研究全流程——从数据收集到实施应用——旨在建立负责任医疗人工智能的国际共识（AI-TREE），通过严谨且可问责的研究实践，提升患者治疗效果。

ABSTRACT

Machine learning (ML), artificial intelligence (AI) and other modern statistical methods are providing new opportunities to operationalize previously untapped and rapidly growing sources of data for patient benefit. Whilst there is a lot of promising research currently being undertaken, the literature as a whole lacks: transparency; clear reporting to facilitate replicability; exploration for potential ethical concerns; and, clear demonstrations of effectiveness. There are many reasons for why these issues exist, but one of the most important that we provide a preliminary solution for here is the current lack of ML/AI- specific best practice guidance. Although there is no consensus on what best practice looks in this field, we believe that interdisciplinary groups pursuing research and impact projects in the ML/AI for health domain would benefit from answering a series of questions based on the important issues that exist when undertaking work of this nature. Here we present 20 questions that span the entire project life cycle, from inception, data analysis, and model evaluation, to implementation, as a means to facilitate project planning and post-hoc (structured) independent evaluation. By beginning to answer these questions in different settings, we can start to understand what constitutes a good answer, and we expect that the resulting discussion will be central to developing an international consensus framework for transparent, replicable, ethical and effective research in artificial intelligence (AI-TREE) for health.

研究动机与目标

• 解决当前医疗健康领域机器学习/人工智能研究中透明度不足、可复现性差、伦理审查缺失以及实际效果不明确的问题。
• 识别报告与方法论中的系统性缺陷，这些缺陷阻碍了AI模型向真实临床应用的转化。
• 提供一个结构化、跨学科的框架，指导医疗健康领域机器学习/人工智能项目从启动到实施的全过程。
• 推动建立负责任医疗人工智能的国际共识标准（AI-TREE）。
• 通过一套统一的关键问题，促进事后评估与项目规划，适用于多样化应用场景。

提出的方法

• 制定一份涵盖医疗健康领域机器学习/人工智能研究全生命周期的20个问题的全面清单。
• 围绕透明度、可复现性、伦理性和有效性四大核心支柱组织问题。
• 整合临床医生、数据科学家、伦理学家及卫生服务研究者等跨学科视角。
• 设计问题以支持前瞻性项目规划与已完成研究的回顾性评估。
• 通过在关键阶段（如数据获取、模型开发、验证与实施）嵌入问题，强调实际应用。
• 将问题作为支架，用于提升报告标准，并支持对研究质量的独立评估。

实验结果

研究问题

• RQ1 如何使医疗健康领域的机器学习/人工智能研究在不同研究团队与机构之间更具透明度与可复现性？
• RQ2 在临床环境中开发与部署AI模型时，会浮现哪些伦理风险，又该如何主动应对？
• RQ3 当前的机器学习/人工智能研究在多大程度上展示了超越统计性能的真实世界有效性与患者获益？
• RQ4 如何构建跨学科协作机制，以确保医疗健康AI研究既具备科学严谨性，又符合伦理规范？
• RQ5 在医疗AI的关键方法论与伦理问题上，什么样的回答可被视为‘优质’？又该如何建立共识？

主要发现

• 20个问题的框架为提升医疗健康领域机器学习/人工智能研究的质量与问责性提供了实用且可操作的工具。
• 该框架既支持项目规划，也支持独立评估，增强了研究间的透明度与可复现性。
• 通过早期且系统性地处理伦理关切，该框架降低了临床环境中出现有害或偏见AI应用的风险。
• 这些问题可灵活适配不同医疗环境、数据类型与模型开发阶段。
• 本文为建立负责任医疗人工智能的国际共识标准（AI-TREE）奠定了基础。
• 该框架旨在推动关于患者获益最佳实践的讨论与演进，对研究质量与临床转化产生可衡量的影响。