[论文解读] Ignore, Trust, or Negotiate: Understanding Clinician Acceptance of AI-Based Treatment Recommendations in Health Care

Venkatesh Sivaraman, Leigh A. Bukowski+3 more|arXiv (Cornell University)|Jan 31, 2023

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

本研究采用混合方法，基于24名临床医生对真实脓毒症病例使用可解释的人工智能决策支持工具，调查了重症监护中临床医生对基于人工智能的治疗建议的接受度。主要发现表明，临床医生经常‘协商’人工智能的建议——选择性采纳、拒绝或延迟部分建议，而非简单地信任或忽视。这凸显了在以治疗为重点的人工智能系统中，需要更细致、基于证据的人机协作。

ABSTRACT

Artificial intelligence (AI) in healthcare has the potential to improve patient outcomes, but clinician acceptance remains a critical barrier. We developed a novel decision support interface that provides interpretable treatment recommendations for sepsis, a life-threatening condition in which decisional uncertainty is common, treatment practices vary widely, and poor outcomes can occur even with optimal decisions. This system formed the basis of a mixed-methods study in which 24 intensive care clinicians made AI-assisted decisions on real patient cases. We found that explanations generally increased confidence in the AI, but concordance with specific recommendations varied beyond the binary acceptance or rejection described in prior work. Although clinicians sometimes ignored or trusted the AI, they also often prioritized aspects of the recommendations to follow, reject, or delay in a process we term "negotiation." These results reveal novel barriers to adoption of treatment-focused AI tools and suggest ways to better support differing clinician perspectives.

研究动机与目标

• 了解临床医生在真实临床决策情境中如何与基于人工智能的治疗建议互动。
• 调查可解释性说明是否能提升临床医生对人工智能建议的信心与接受度。
• 探索在高不确定性、以治疗为重点的情境下，人机协作的动态机制，超越简单的接受或拒绝二元模式。
• 识别在治疗指南模糊或存在争议的临床环境中，人工智能工具采纳障碍。
• 提出一种设计人工智能决策支持系统的新框架，支持协商而非被动接受或拒绝。

提出的方法

• 基于真实MIMIC-IV重症监护数据，使用AI Clinician模型开发了一种用于脓毒症治疗建议的可解释人工智能决策支持界面。
• 开展了一项包含24名重症监护临床医生的混合方法研究，使其在真实患者病例上使用人工智能辅助决策。
• 采用“自言自语”法记录实时决策过程，包括推理、信任校准及协商行为。
• 提供基于SHAP的说明，聚焦于人工智能模型的状态聚类组件，以增强透明度。
• 使用主题分析法分析定性数据，识别临床医生与人工智能建议互动的模式。
• 评估临床医生与人工智能建议的一致性，并分析说明对信心和决策的影响。

Figure 1. Overview of the AI Clinician’s training methodology, summarized from (Komorowski et al . , 2018 ) . The model takes as input a set of historical trajectories comprising patient vitals, labs, and treatments discretized at 4-hour intervals. Each timestep is represented as one of 750 differen

实验结果

研究问题

• RQ1 临床医生在真实脓毒症病例中如何响应基于人工智能的治疗建议，特别是在治疗指南不确定或冲突时？
• RQ2 可解释性说明在人工智能辅助治疗规划中在多大程度上影响临床医生的信心与决策？
• RQ3 临床医生主要信任、忽视还是与人工智能建议进行协商？这些行为背后的驱动因素是什么？
• RQ4 人工智能说明的存在如何影响治疗建议的可信度和实用性？
• RQ5 临床实践中，临床医生采纳以治疗为重点的人工智能工具的主要障碍是什么？

主要发现

• 临床医生频繁与人工智能建议进行‘协商’，选择性采纳、拒绝或延迟特定部分，而非做出二元的接受或拒绝决定。
• 说明显著提升了临床医生对人工智能的信心，但并未统一提高与建议的一致性。
• 即使有说明，临床医生仍经常优先考虑自身临床判断，尤其当建议与既定指南或个人经验冲突时。
• 研究发现，临床医生将人工智能视为辅助证据来源，而非决策主体。
• 临床医生对人工智能建议的解读和使用方式存在显著差异，表明‘一刀切’的人工智能设计方法不足以满足需求。
• 研究结果表明，以治疗为重点的人工智能工具应设计为不取代临床医生，而是通过透明、模块化且可协商的建议，支持个体化、情境敏感的决策。

Figure 2. Main interface in the AI Clinician Explorer, designed to support browsing patient trajectories, interpreting model recommendations and comparing predicted treatment values against historical clinical actions. (a) The timestep control allows the user to step through the patient’s ICU stay a