[论文解读] Explainable AI, but explainable to whom?

Julie Gerlings, Millie Søndergaard Jensen+1 more|arXiv (Cornell University)|Jun 10, 2021

Explainable Artificial Intelligence (XAI)参考文献 79被引用 5

一句话总结

本文研究了在医疗保健领域可解释人工智能（xAI）中利益相关者特定的解释需求，聚焦于一个用于新冠肺炎重症监护病房（ICU）分类的AI系统。研究发现，开发者、临床医生、决策者和患者各自需要不同的解释，挑战了‘xAI仅服务于单一用户’的假设，提出了一个框架，以根据不同利益相关者的需求定制解释，从而提升信任度并促进系统实施。

ABSTRACT

Advances in AI technologies have resulted in superior levels of AI-based model performance. However, this has also led to a greater degree of model complexity, resulting in 'black box' models. In response to the AI black box problem, the field of explainable AI (xAI) has emerged with the aim of providing explanations catered to human understanding, trust, and transparency. Yet, we still have a limited understanding of how xAI addresses the need for explainable AI in the context of healthcare. Our research explores the differing explanation needs amongst stakeholders during the development of an AI-system for classifying COVID-19 patients for the ICU. We demonstrate that there is a constellation of stakeholders who have different explanation needs, not just the 'user'. Further, the findings demonstrate how the need for xAI emerges through concerns associated with specific stakeholder groups i.e., the development team, subject matter experts, decision makers, and the audience. Our findings contribute to the expansion of xAI by highlighting that different stakeholders have different explanation needs. From a practical perspective, the study provides insights on how AI systems can be adjusted to support different stakeholders needs, ensuring better implementation and operation in a healthcare context.

研究动机与目标

• 理解医疗AI系统中不同利益相关者如何感知和需要解释。
• 识别在AI系统开发与部署过程中，不同利益相关者群体的具体解释需求。
• 挑战‘xAI解释是为最终用户或临床医生单独设计’的假设。
• 研究在为ICU分诊开发AI系统的过程中，解释需求如何源于利益相关者的特定关切。
• 为设计支持临床环境中多个利益相关者的xAI系统，提供实用洞见。

提出的方法

• 开展了一项定性研究，涉及开发用于分类新冠肺炎患者是否需转入ICU的AI系统的利益相关者。
• 将利益相关者划分为四类：开发团队、领域专家、决策者和最终用户/受众。
• 通过访谈和情境探究，在系统开发过程中分析利益相关者的关切与解释需求。
• 将解释需求与具体关切（如模型可靠性、临床有效性、操作可行性及伦理问责）进行映射。
• 使用主题分析法，提取不同利益相关者角色在解释需求上的模式。
• 基于其角色和关切，提出一个为不同利益相关者群体定制xAI解释的框架。

实验结果

研究问题

• RQ1 在医疗AI系统中，除最终用户外，还有哪些关键利益相关者需要解释？
• RQ2 在AI开发过程中，不同利益相关者群体的解释需求由哪些具体关切驱动？
• RQ3 在临床AI背景下，开发者、临床医生、医院管理者与患者之间的解释需求有何不同？
• RQ4 利益相关者的特定关切以何种方式塑造可解释AI的设计与实施？
• RQ5 如何使xAI在现实医疗部署中有效服务于多个利益相关者？

主要发现

• 不同利益相关者——包括开发团队、临床医生、决策者和患者——具有独特且情境相关的解释需求。
• 解释需求并非源于单一用户群体，而是来自参与AI系统开发与部署的多个角色。
• 开发团队需要技术性解释以支持模型验证与调试，而临床医生则需要临床可解释性以建立诊断信任。
• 决策者需要基于操作与风险的解释，以评估系统的可行性与合规性。
• 患者和公众需要聚焦伦理与透明度的解释，以建立对AI驱动医疗决策的信任。
• 本研究证明，‘一刀切’的解释方法无法满足利益相关者的多样化需求，因此必须采用角色特定的xAI设计。