[论文解读] Explainable Interface for Human-Autonomy Teaming: A Survey

Xiangqi Kong, Yang Xing+5 more|arXiv (Cornell University)|May 4, 2024

Business Process Modeling and Analysis被引用 6

一句话总结

对人机协同的 Explainable Interface (EI) 框架的综合性综述，澄清从以人为本的 XAI 视角的概念、架构和评估。

ABSTRACT

Nowadays, large-scale foundation models are being increasingly integrated into numerous safety-critical applications, including human-autonomy teaming (HAT) within transportation, medical, and defence domains. Consequently, the inherent 'black-box' nature of these sophisticated deep neural networks heightens the significance of fostering mutual understanding and trust between humans and autonomous systems. To tackle the transparency challenges in HAT, this paper conducts a thoughtful study on the underexplored domain of Explainable Interface (EI) in HAT systems from a human-centric perspective, thereby enriching the existing body of research in Explainable Artificial Intelligence (XAI). We explore the design, development, and evaluation of EI within XAI-enhanced HAT systems. To do so, we first clarify the distinctions between these concepts: EI, explanations and model explainability, aiming to provide researchers and practitioners with a structured understanding. Second, we contribute to a novel framework for EI, addressing the unique challenges in HAT. Last, our summarized evaluation framework for ongoing EI offers a holistic perspective, encompassing model performance, human-centered factors, and group task objectives. Based on extensive surveys across XAI, HAT, psychology, and Human-Computer Interaction (HCI), this review offers multiple novel insights into incorporating XAI into HAT systems and outlines future directions.

研究动机与目标

• 在 HAT 中澄清可解释界面、解释和模型可解释性之间的区分。
• 引入一个面向设计的 EI 框架，覆盖任务导向和体验导向的视角。
• 总结提升模型可解释性的方法，包括基于大型语言模型的解释生成。
• 提出一个覆盖模型性能、人因因素和群体绩效的 EI-HAT 评估框架。
• 概述在不同领域将 EI 集成到 HAT 的挑战与未来方向。

提出的方法

• 提出一个跨越前建模、模型设计和后建模阶段的分阶段模型可解释性框架。
• 回顾并整合关于 XAI、HAT、心理学和人机交互的文献，以奠定 EI-HAT 的概念基础。
• 提出一个包含界面、功能模块、支持系统和人机闭环的 EI-HAT 架构。
• 讨论设计原则，如以用户为中心的自动化、透明度、可预测性和相互理解。
• 描述在 EI-HAT 中如何利用大型语言模型进行解释生成。

Figure 1. Design Approach for Explainable Interface enhanced Human-Autonomy Teaming.

实验结果

研究问题

• RQ1 在 HAT 中，可解释界面、解释和模型可解释性之间的本质区别与作用是什么？
• RQ2 如何设计一个实用的 EI-HAT 框架，以覆盖任务导向和体验导向的目标？
• RQ3 哪些方法与阶段在前建模、设计和后建模阶段最能支持可解释且可信的解释？
• RQ4 哪些评估方法（基于模型、以人为本、面向协同任务）适用于 EI-HAT？
• RQ5 在医疗保健、交通和数字孪生领域将 EI 融入 HAT 存在哪些挑战和未来方向？

主要发现

• EI-HAT 可以提升人类与自治代理之间的理解、沟通与协调。
• 结构化、分阶段的可解释性框架可以指导数据准备、模型设计和事后解释。
• 应在各阶段选择固有的可解释性和可解释性方法，并由大型语言模型协助解释生成。
• 具有人机闭环和多模态解释的架构有助于相互理解与信任。
• 利益相关者需求和监管考量（如 GDPR、RMF）影响 EI-HAT 的设计与评估。
• 未来的 EI-HAT 研究应解决统一术语、设计指南以及跨领域的适用性。

Figure 2. Clarification of Model Explainability, Explanations, Explainable Interfaces.