[论文解读] Explainable Agents Through Social Cues: A Review

Sebastian Wallkötter, Silvia Tulli+3 more|arXiv (Cornell University)|Mar 11, 2020

Explainable Artificial Intelligence (XAI)参考文献 82被引用 6

一句话总结

本文综述了利用社交线索（如言语、动作和注视）提升人机交互中透明度与信任度的可解释具身智能体。文章整合了定义、基于社交线索的实现策略及评估方法，识别出将可解释性融入学习框架中的关键挑战，并为未来研究提出开放性问题。

ABSTRACT

The issue of how to make embodied agents explainable has experienced a surge of interest over the last three years, and, there are many terms that refer to this concept, e.g., transparency or legibility. One reason for this high variance in terminology is the unique array of social cues that embodied agents can access in contrast to that accessed by non-embodied agents. Another reason is that different authors use these terms in different ways. Hence, we review the existing literature on explainability and organize it by (1) providing an overview of existing definitions, (2) showing how explainability is implemented and how it exploits different social cues, and (3) showing how the impact of explainability is measured. Additionally, we present a list of open questions and challenges that highlight areas that require further investigation by the community. This provides the interested reader with an overview of the current state-of-the-art.

研究动机与目标

• 整合并澄清具身智能体中可解释性的多样化定义，解决文献中术语不一致的问题。
• 分析言语、动作、文本和图像等社交线索在具身智能体中实现可解释性的应用方式。
• 评估现有方法在衡量可解释性影响方面的表现，重点关注人机交互中的信任度、鲁棒性和效率。
• 识别当前研究中的空白，特别是将可解释性整合进学习与自适应系统方面的不足，并为未来工作提出开放性问题。

提出的方法

• 通过基于关键词的检索方法开展系统性文献综述，识别出32篇与可解释具身智能体相关的研究。
• 对各研究中的可解释性定义进行分类与分析，识别出四个核心动机：交互式教学、信任、团队协作与伦理。
• 将可解释性机制与社交线索进行映射：言语解释（言语）、文本输出、可见动作（动作）以及视觉显示（图像）。
• 探讨可解释事件的算法选择方法，因原始研究中相关报告稀疏，故借鉴相关工作。
• 回顾评估方法，重点关注信任度、鲁棒性和效率，并评估实验中使用的测量技术。
• 识别出在强化学习等学习框架中嵌入可解释性的整合挑战，主张未来研究应加强详细报告。

实验结果

研究问题

• RQ1 如何建立有效模型以预测或追踪人类对智能体目标与行为的期望和信念？
• RQ2 在构建具身智能体的可解释性时，如何设计学习机制以将人类纳入闭环？
• RQ3 具身性与环境背景如何影响社交线索的选择及其在可解释性中的有效性？
• RQ4 可采用哪些客观且可测量的指标来评估可解释具身智能体中的信任度？
• RQ5 为何可解释性有时无法提升交互效率，其背后的影响因素是什么？

主要发现

• 各研究中可解释性的定义存在显著异质性，缺乏标准化术语，促使作者提出统一定义。
• 注视、言语和动作等社交线索常被用于传达解释信息，其中动作与注视在可读性与意图表达方面尤为有效。
• 仅有少数研究详细描述了可解释性机制在算法上如何被选择或整合进学习过程。
• 信任度与鲁棒性是最常被测量的可解释性结果，而效率的评估则不够一致。
• 尽管关注度持续上升，可解释性在自适应与基于学习的智能体中的整合仍显不足，现有研究在方法论报告方面仍显薄弱。
• 本综述识别出五个关键开放性问题，凸显了在建模人类期望、人机闭环学习、环境对线索选择的影响、客观信任度指标，以及可解释性对交互效率影响不一致等关键研究空白。