[论文解读] Designer-User Communication for XAI: An epistemological approach to discuss XAI design

Juliana Jansen Ferreira, Mateus de Souza Monteiro|arXiv (Cornell University)|May 17, 2021

Big Data and Business Intelligence被引用 4

一句话总结

本文提出了一种认识论框架，利用‘表意信息’（Signifying Message）概念，将可解释人工智能（XAI）设计中AI设计师、开发者与最终用户之间在早期阶段的沟通具体化。通过在医疗AI案例研究中应用该工具，作者展示了如何共同构建对解释内容的共享理解，从而提升各利益相关方之间的对齐程度，并从一开始就实现更具人性化中心的XAI开发。

ABSTRACT

Artificial Intelligence is becoming part of any technology we use nowadays. If the AI informs people's decisions, the explanation about AI's outcomes, results, and behavior becomes a necessary capability. However, the discussion of XAI features with various stakeholders is not a trivial task. Most of the available frameworks and methods for XAI focus on data scientists and ML developers as users. Our research is about XAI for end-users of AI systems. We argue that we need to discuss XAI early in the AI-system design process and with all stakeholders. In this work, we aimed at investigating how to operationalize the discussion about XAI scenarios and opportunities among designers and developers of AI and its end-users. We took the Signifying Message as our conceptual tool to structure and discuss XAI scenarios. We experiment with its use for the discussion of a healthcare AI-System.

研究动机与目标

• 为解决XAI设计中利益相关方参与不足的问题，重点关注数据科学家以外的最终用户。
• 在AI系统早期开发阶段，将设计师、开发者与最终用户之间关于XAI场景的讨论具体化。
• 提出一个概念性框架，以支持XAI解释设计中的认识论对齐。
• 通过在医疗AI系统背景下的实际应用，验证该框架的有效性。

提出的方法

• 采用表意信息框架作为概念性工具，用于结构化不同利益相关方之间关于AI解释的沟通。
• 该方法包括共同设计工作坊，设计师、开发者与最终用户协作解读并阐明AI输出的意义。
• 该框架强调认识论维度——即关于AI行为的知识如何被构建与共享。
• 以一个医疗AI系统作为案例研究，展示表意信息在真实世界XAI设计场景中的应用。
• 该方法整合了人机交互（HCI）与AI可解释性领域的洞见，以支持迭代性、对话式的设计过程。
• 该过程使利益相关方能够基于情境化和领域特定的需求，协商何种解释可被视为‘令人满意’。

实验结果

研究问题

• RQ1 设计师与最终用户如何在早期开发阶段共同讨论并塑造AI解释的形式与内容？
• RQ2 哪些概念性工具能够支持在多样化利益相关方之间实现XAI设计中的认识论对齐？
• RQ3 表意信息框架如何促进在医疗背景下关于AI解释的沟通？
• RQ4 在多大程度上，早期引入最终用户能提升XAI功能的相关性与可用性？
• RQ5 使用表意信息共同定义解释需求时，面临哪些实际挑战与机遇？

主要发现

• 表意信息框架成功在医疗AI背景下，实现了设计师、开发者与最终用户之间结构化且基于认识论的对话。
• 利益相关方通过聚焦AI输出在特定临床情境中的表意意义，共同定义了有意义解释的内涵。
• 该方法揭示了最终用户对解释的理解与其领域知识及决策需求密切相关。
• 设计师与开发者获得了关于解释在实际与伦理层面维度的新见解，这些在以往的技术性XAI方法中常被忽视。
• 该框架支持识别出仅通过技术分析难以察觉的情境特定解释需求。
• 本研究证明，关于解释的早期、包容性沟通，可带来更具可用性与可信度的AI系统。