[论文解读] Factors that influence the adoption of human-AI collaboration in clinical decision-making

Patrick Hemmer, Max Schemmer+4 more|arXiv (Cornell University)|Apr 19, 2022

Artificial Intelligence in Healthcare and Education被引用 14

一句话总结

本研究通过专家访谈识别出影响临床决策中人机协作采纳的六个关键因素。研究揭示了这些因素之间的张力，例如信任、透明度与工作负荷之间的矛盾，强调需要以人为本的设计，以使人工智能在医疗环境中成为与人类平等协作的团队成员。

ABSTRACT

Recent developments in Artificial Intelligence (AI) have fueled the emergence of human-AI collaboration, a setting where AI is a coequal partner. Especially in clinical decision-making, it has the potential to improve treatment quality by assisting overworked medical professionals. Even though research has started to investigate the utilization of AI for clinical decision-making, its potential benefits do not imply its adoption by medical professionals. While several studies have started to analyze adoption criteria from a technical perspective, research providing a human-centered perspective with a focus on AI's potential for becoming a coequal team member in the decision-making process remains limited. Therefore, in this work, we identify factors for the adoption of human-AI collaboration by conducting a series of semi-structured interviews with experts in the healthcare domain. We identify six relevant adoption factors and highlight existing tensions between them and effective human-AI collaboration.

研究动机与目标

• 理解影响人工智能在临床决策中采纳的以人为本因素，超越技术性能。
• 探讨人工智能如何在医疗团队中作为平等合作者发挥作用，而非仅作为工具。
• 识别可能阻碍医疗领域有效人机协作的采纳因素之间的张力。
• 为支持人工智能系统无缝融入临床工作流程和团队动态的设计提供依据。

提出的方法

• 通过半结构化访谈与医疗领域专家交流，探讨采纳因素。
• 采用定性分析方法，识别影响人机协作的重复主题与关键因素。
• 将识别出的因素映射到人机交互与人工智能采纳领域的现有理论框架。
• 通过主题分析探索因素之间的张力，重点关注临床环境中的权衡取舍。
• 聚焦真实临床情境，确保研究结果对临床实践者与系统设计者具有实际相关性。
• 通过迭代分析验证研究发现，以确保洞察的稳健性与深度。

实验结果

研究问题

• RQ1 哪些因素影响医疗专业人员将人工智能视为临床决策中平等合作者的意愿？
• RQ2 在临床环境中，感知到的信任、透明度与工作负荷如何相互作用以影响人工智能的采纳？
• RQ3 不同采纳因素之间存在哪些张力，可能阻碍有效的人机协作？
• RQ4 临床医生在决策过程中如何看待人工智能作为团队成员，而非仅作为工具？
• RQ5 人工智能系统设计应如何应对以人为本的挑战，以支持其在临床工作流程中的无缝整合？

主要发现

• 识别出六个关键采纳因素：信任、透明度、工作负荷、角色清晰度、责任归属与系统可靠性。
• 透明度与工作负荷之间存在张力，更高的可解释性可能增加认知负荷。
• 临床医生在采纳人工智能工具时，更重视信任与系统可靠性，而非技术性能。
• 人机团队中角色清晰度与责任归属的缺失，导致临床医生在依赖人工智能建议时犹豫不决。
• 专家对人工智能的过度依赖表示担忧，尤其是在决策责任仍由临床医生承担的情况下。
• 有效的协作需要人工智能系统支持而非取代临床判断，同时最小化认知负担。