[论文解读] Functional requirements to mitigate the Risk of Harm to Patients from Artificial Intelligence in Healthcare

Juan M. García‐Gómez, Vicent Blanes-Selva+3 more|arXiv (Cornell University)|Sep 19, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文提出了14项功能需求——如AI护照、持续性能评估和可解释AI——以减轻医疗领域中人工智能对患者的伤害。这些技术规范增强了透明度、问责制和安全性，使系统能够符合欧盟即将出台的AI监管框架，并降低偏见、错误和滥用带来的风险。

ABSTRACT

The Directorate General for Parliamentary Research Services of the European Parliament has prepared a report to the Members of the European Parliament where they enumerate seven main risks of Artificial Intelligence (AI) in medicine and healthcare: patient harm due to AI errors, misuse of medical AI tools, bias in AI and the perpetuation of existing inequities, lack of transparency, privacy and security issues, gaps in accountability, and obstacles in implementation. In this study, we propose fourteen functional requirements that AI systems may implement to reduce the risks associated with their medical purpose: AI passport, User management, Regulation check, Academic use only disclaimer, data quality assessment, Clinicians double check, Continuous performance evaluation, Audit trail, Continuous usability test, Review of retrospective/simulated cases, Bias check, eXplainable AI, Encryption and use of field-tested libraries, and Semantic interoperability. Our intention here is to provide specific high-level specifications of technical solutions to ensure continuous good performance and use of AI systems to benefit patients in compliance with the future EU regulatory framework.

研究动机与目标

• 解决欧洲议会研究服务识别出的医疗人工智能七大主要风险，包括由错误、偏见和缺乏透明度导致的患者伤害。
• 弥合基于人工智能的医疗工具在问责制和监督方面的缺口，特别是在现行及未来的欧盟责任框架下。
• 提供高层次且可操作的技术规范，确保人工智能在临床环境中持续安全运行并实现伦理化使用。
• 通过在人工智能系统设计中嵌入风险缓解功能，支持与《欧盟人工智能法案》及相关法规的合规性。
• 通过增强的透明度和验证机制，使医疗专业人员能够基于充分信息做出安全、明智的决策，从而提升其在使用人工智能工具时的信心。

提出的方法

• 采用风险缓解框架，将医疗人工智能的七项已识别风险逐一映射到具体的功能需求。
• 提出14项功能需求，包括AI护照、用户管理、合规性检查、偏见检测以及持续可用性测试。
• 整合审计日志、加密技术、经实际验证的软件库以及语义互操作性等技术组件，以保障系统完整性。
• 设计基于平台的架构（例如The Aleph平台），用于托管和管理人工智能服务，并内置合规功能。
• 通过基于聊天机器人的问卷调查（UEQ和SUS）实现实时可用性反馈，持续监控用户体验。
• 将可解释人工智能（XAI）与临床双重核对机制相结合，在实际使用前验证预测结果的准确性。

实验结果

研究问题

• RQ1 如何系统性地定义功能需求，以减轻医疗领域中人工智能导致的患者伤害风险？
• RQ2 哪些技术组件是确保医疗人工智能系统透明度、问责制以及持续性能监控所必需的？
• RQ3 如何通过具体的软件级功能实现现有监管框架（如欧盟人工智能法案）的落地实施？
• RQ4 在临床环境中，人工智能系统应如何设计以防止滥用、偏见和数据质量问题？
• RQ5 集中式平台在支持跨医疗机构部署合规、安全且可审计的人工智能工具方面，可发挥何种作用？

主要发现

• 14项功能需求共同覆盖了欧洲议会识别出的医疗人工智能七大主要风险，包括由错误和偏见引发的患者伤害。
• AI护照可实现对模型性能、数据质量和训练参数的可追溯性，支持临床验证与监管合规。
• 持续性能评估与审计日志支持对人工智能系统行为的实时监控，确保临床应用中的问责制。
• 基于角色的用户管理及“仅限学术使用”声明可降低滥用和未经授权部署的风险。
• 可解释人工智能（XAI）与临床双重核对机制的整合，提升了透明度，并增强了临床医生对人工智能预测结果的信任。
• 基于平台的模式（如The Aleph）支持模块化、合规的人工智能部署，内置功能包括可用性测试、合规性检查和数据加密。