[论文解读] From Military to Healthcare: Adopting and Expanding Ethical Principles for Generative Artificial Intelligence

David Oniani, Jordan Hilsman+6 more|arXiv (Cornell University)|Aug 4, 2023

Artificial Intelligence in Healthcare and Education被引用 5

一句话总结

本文提出了GREAT PLEA伦理原则——治理（Governance）、可靠性（Reliability）、公平性（Equity）、问责制（Accountability）、可追溯性（Traceability）、隐私（Privacy）、合法性（Lawfulness）、同理心（Empathy）和自主性（Autonomy）——以实现生成式人工智能在医疗保健中的伦理化部署。该研究借鉴军事人工智能伦理，将这些原则进行适应性调整与扩展，以应对偏见、错误信息和人类控制力丧失等风险，提出一个结构化框架，确保在临床环境中实现安全、公平且以患者为中心的人工智能整合。

ABSTRACT

In 2020, the U.S. Department of Defense officially disclosed a set of ethical principles to guide the use of Artificial Intelligence (AI) technologies on future battlefields. Despite stark differences, there are core similarities between the military and medical service. Warriors on battlefields often face life-altering circumstances that require quick decision-making. Medical providers experience similar challenges in a rapidly changing healthcare environment, such as in the emergency department or during surgery treating a life-threatening condition. Generative AI, an emerging technology designed to efficiently generate valuable information, holds great promise. As computing power becomes more accessible and the abundance of health data, such as electronic health records, electrocardiograms, and medical images, increases, it is inevitable that healthcare will be revolutionized by this technology. Recently, generative AI has captivated the research community, leading to debates about its application in healthcare, mainly due to concerns about transparency and related issues. Meanwhile, concerns about the potential exacerbation of health disparities due to modeling biases have raised notable ethical concerns regarding the use of this technology in healthcare. However, the ethical principles for generative AI in healthcare have been understudied, and decision-makers often fail to consider the significance of generative AI. In this paper, we propose GREAT PLEA ethical principles, encompassing governance, reliability, equity, accountability, traceability, privacy, lawfulness, empathy, and autonomy, for generative AI in healthcare. We aim to proactively address the ethical dilemmas and challenges posed by the integration of generative AI in healthcare.

研究动机与目标

• 解决生成式人工智能在医疗保健中日益增长的伦理风险，例如偏见、透明度不足以及临床医生自主权下降。
• 将最初为军事人工智能开发的伦理原则适应并扩展至医疗保健领域，因为该领域同样面临高风险决策的挑战。
• 提出一个全面且可操作的伦理框架，以支持生成式人工智能在临床环境中的负责任开发与部署。
• 强调在人工智能驱动的医疗互动中，同理心与人类自主性的重要性，以应对当前人工智能系统（如大型语言模型）在情感智能方面的局限性。
• 为政策制定者、开发者和医疗保健机构提供基础，以建立伦理人工智能使用的标准与治理机制。

提出的方法

• 将美国国防部的五大核心人工智能原则——负责任、公平、可追溯、可靠和可治理——转化为针对医疗保健的特定框架。
• 将这些原则扩展为九个独立的伦理类别：治理、可靠性、公平性、问责制、可追溯性、隐私、合法性、同理心和自主性（GREAT PLEA）。
• 开展军事与医疗保健情境之间的对比分析，识别出共享的伦理挑战，例如在高压环境下进行高风险决策以及系统故障的风险。
• 建议通过与监管机构（如世卫组织、美国医学会）合作、标准制定和法律框架来实施伦理原则。
• 强调需要采用人机协同系统，以维护临床医生的自主权和患者的同理心，尤其考虑到当前生成式模型在情感智能方面的局限性。
• 倡导通过领域特定指标对人工智能系统进行持续评估，以检测偏见、错误信息和性能漂移。

实验结果

研究问题

• RQ1 如何有意义地将为军事人工智能制定的伦理原则适应至医疗保健领域？
• RQ2 生成式人工智能在临床环境中带来了哪些独特的伦理风险，而现有人工智能伦理框架未能充分应对？
• RQ3 当大型语言模型通常缺乏情感智能时，如何在人工智能辅助的医疗保健中保持同理心与患者自主性？
• RQ4 治理、可追溯性和问责制在确保临床决策中负责任地使用生成式人工智能方面应发挥何种作用？
• RQ5 伦理原则如何通过政策、标准和机构合作在医疗保健中实现可操作化？

主要发现

• GREAT PLEA框架为生成式人工智能在医疗保健领域提供了九项原则的伦理基础，可有效应对偏见、错误信息和人类控制力丧失等风险。
• 生成式人工智能在医疗保健中面临的伦理挑战与军事应用中的挑战相似，尤其是在高压环境下责任、可靠性与透明度方面。
• 当前的大型语言模型（如ChatGPT）缺乏同理心与情感智能，因此必须在临床人工智能系统中设立专门的同理心伦理原则。
• 自主性原则至关重要，可防止人工智能取代临床医生的判断或违背患者偏好，确保人类监督始终处于核心地位。
• 可追溯性与可解释性对于检测和纠正人工智能生成的临床内容中的错误或偏见至关重要，尤其是在电子健康记录和诊断报告中。
• 该框架支持主动的风险缓解，可为政策制定者、开发者和医疗保健机构提供指导，以建立伦理标准与合规机制。