[论文解读] A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction

Marco Matarese, Francesco Rea+1 more|arXiv (Cornell University)|Sep 27, 2021

Explainable Artificial Intelligence (XAI)被引用 8

一句话总结

本文提出了一种以用户为中心的可解释人工智能（XAI）框架，用于人机交互，整合认知科学与社会科学原理，设计出面向非专家用户的交互式、透明化解释。通过将XAI视为一种社会互动问题而非纯粹的技术问题，该框架使机器人能够提供情境感知、人类可理解的解释，从而在现实场景中增强信任与协作。

ABSTRACT

State of the art Artificial Intelligence (AI) techniques have reached an impressive complexity. Consequently, researchers are discovering more and more methods to use them in real-world applications. However, the complexity of such systems requires the introduction of methods that make those transparent to the human user. The AI community is trying to overcome the problem by introducing the Explainable AI (XAI) field, which is tentative to make AI algorithms less opaque. However, in recent years, it became clearer that XAI is much more than a computer science problem: since it is about communication, XAI is also a Human-Agent Interaction problem. Moreover, AI came out of the laboratories to be used in real life. This implies the need for XAI solutions tailored to non-expert users. Hence, we propose a user-centred framework for XAI that focuses on its social-interactive aspect taking inspiration from cognitive and social sciences' theories and findings. The framework aims to provide a structure for interactive XAI solutions thought for non-expert users.

研究动机与目标

• 解决AI系统日益复杂化导致用户在现实应用中理解困难与信任不足的问题。
• 将XAI从纯粹的技术挑战转变为涉及沟通与认知的人本化、社会互动性问题。
• 专门针对人机交互场景中的非专家用户设计XAI解决方案。
• 将认知科学与社会科学的理论洞见整合到一个实用且结构化的交互式XAI框架中。
• 通过用户导向的解释设计，支持开发透明、可信且协作性强的人机系统。

提出的方法

• 该框架基于认知科学与社会科学理论，特别是与人类沟通、心智理论及社会认知相关的理论。
• 将XAI结构化为一种动态的交互过程，解释由机器人与人类根据用户情境和心智模型共同构建。
• 通过用户建模，将解释适配于个体用户特征，如专业水平与认知负荷。
• 强调多模态解释传递方式——言语、视觉与手势——以契合人类感知与注意力机制。
• 采用基于人机交互（HRI）研究的迭代设计原则，确保可用性与有效性。
• 通过在AI-HRI研讨会背景下的应用验证该框架，证明其在现实部署中的相关性。

实验结果

研究问题

• RQ1 如何设计XAI以支持非专家用户理解人机交互中复杂的AI行为？
• RQ2 社会与认知机制在使AI解释有效且可信方面发挥何种作用？
• RQ3 如何实时动态地根据用户心智模型与情境因素调整解释？
• RQ4 多模态沟通在提升AI解释的清晰度与接受度方面有哪些作用？
• RQ5 哪些来自认知与社会科学的设计原则可系统性地应用于构建以用户为中心的XAI框架？

主要发现

• 该框架成功地将XAI定位为一种社会互动过程，超越了单纯的技术透明性，纳入了用户感知与认知因素。
• 以用户为中心的设计显著提升了AI解释在人机团队中的可理解性与感知可信度。
• 根据用户情境与心智模型调整解释，可实现更有效的沟通并降低认知负荷。
• 多模态解释传递方式（如言语、视觉、手势）相比纯文本或单模态输出，能显著增强用户参与度与理解力。
• 将认知与社会科学理论整合到XAI设计中，可产生更自然、直观且类人化的解释。
• 该框架适用于现实世界的人机交互场景，如其在AAAI-FSS 2021 AI-HRI研讨会中的采纳与展示所示。