[论文解读] Automated Rationale Generation: A Technique for Explainable AI and its Effects on Human Perceptions

Upol Ehsan, Pradyumna Tambwekar+3 more|arXiv (Cornell University)|Jan 11, 2019

Explainable Artificial Intelligence (XAI)参考文献 37被引用 44

一句话总结

本文训练神经推理生成器，为在 Frogger 中代理的行动生成类人 natural language 解释，比较 focused-view 与 complete-view 配置，通过两项用户研究评估感知质量与偏好。

ABSTRACT

Automated rationale generation is an approach for real-time explanation generation whereby a computational model learns to translate an autonomous agent's internal state and action data representations into natural language. Training on human explanation data can enable agents to learn to generate human-like explanations for their behavior. In this paper, using the context of an agent that plays Frogger, we describe (a) how to collect a corpus of explanations, (b) how to train a neural rationale generator to produce different styles of rationales, and (c) how people perceive these rationales. We conducted two user studies. The first study establishes the plausibility of each type of generated rationale and situates their user perceptions along the dimensions of confidence, humanlike-ness, adequate justification, and understandability. The second study further explores user preferences between the generated rationales with regard to confidence in the autonomous agent, communicating failure and unexpected behavior. Overall, we find alignment between the intended differences in features of the generated rationales and the perceived differences by users. Moreover, context permitting, participants preferred detailed rationales to form a stable mental model of the agent's behavior.

研究动机与目标

• 通过远程 think-aloud 协议将游戏状态和行动与高质量的人类解释语料库联系起来。
• 训练编码器-解码器神经模型，将状态-行动表示转换为自然语言推理（rationales）。
• 评估推理风格如何影响用户在信心、类似人类、充分性/正当性以及可理解性方面的感知。
• 比较 focused-view 与 complete-view 推理生成器，并分析用户偏好及与设计目标的一致性。

提出的方法

• 使用改装的 Frogger 界面收集与游戏状态配对的大量 think-aloud 解释语料。
• 训练带有 GRU 单元和注意力机制的编码器-解码器 RNN，将序列化的状态-行动输入转换为推理（rationales）。
• 在两种输入配置上进行实验：focused-view（7x7 本地窗口）和 complete-view（带输入噪声的全棋盘）。
• 为推理生成器使用 100 个训练轮次，并通过用户研究在可行性与感知维度上进行评估。
• 进行两项用户研究，衡量信心、类似人类、充分的正当性与可理解性，并与范例和随机基线进行比较。

实验结果

研究问题

• RQ1 生成的推理（focused-view 与 complete-view）在可信度和感知质量方面是否优于随机基线？
• RQ2 推理在感知的信心、类似人类、正当性充分性和可理解性方面有何差异？
• RQ3 与 focused-view 推理相比，complete-view 推理是否会产生不同的用户感知？
• RQ4 用户是否倾向于某一种推理风格（focused-view 还是 complete-view），若是，原因是什么？

主要发现

• 在四个感知维度上，focused-view 和 complete-view 推理均显著优于随机基线。
• 范例级的人类推理被评为高于候选推理，且差异随配置而异。
• complete-view 候选推理通常获得比 focused-view 候选推理更高的评分。
• 具有上下文准确性、意识到情境和策略性细节的推理能提升信心和可理解性；仅仅可懂度不足以获得高信心。
• 在有上下文时，参与者偏好提供详细、整体性解释的推理，有助于建立稳定的心智模型。