[论文解读] Explainable AI for System Failures: Generating Explanations that Improve Human Assistance in Fault Recovery

Devleena Das, Siddhartha Banerjee+1 more|arXiv (Cornell University)|Nov 18, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用 4

一句话总结

本文提出基于上下文的自然语言解释，以帮助非专家用户诊断机器人计划失败并选择适当的恢复操作。该方法采用序列到序列模型生成包含环境上下文的解释，实现了在跨故障场景中的89.7%准确率，相较于基于动作的解释或无解释，显著提升了用户在故障恢复中的准确性。

ABSTRACT

With the growing capabilities of intelligent systems, the integration of artificial intelligence (AI) and robots in everyday life is increasing. However, when interacting in such complex human environments, the failure of intelligent systems, such as robots, can be inevitable, requiring recovery assistance from users. In this work, we develop automated, natural language explanations for failures encountered during an AI agents' plan execution. These explanations are developed with a focus of helping non-expert users understand different point of failures to better provide recovery assistance. Specifically, we introduce a context-based information type for explanations that can both help non-expert users understand the underlying cause of a system failure, and select proper failure recoveries. Additionally, we extend an existing sequence-to-sequence methodology to automatically generate our context-based explanations. By doing so, we are able develop a model that can generalize context-based explanations over both different failure types and failure scenarios.

研究动机与目标

• 为解决在计划执行过程中系统故障可解释AI的空白，特别是针对非专家用户。
• 识别能够使非专家理解故障原因并选择正确恢复操作的信息类型。
• 开发一种自动化的、可泛化的自然语言解释生成方法，以提升人机协作的故障恢复效果。
• 在真实世界的机器人操作任务中，通过对比基于动作的解释和无解释基线，验证基于上下文的解释的有效性。

提出的方法

• 提出一种新型解释类型——基于上下文的解释，通过整合环境与情境上下文以阐明故障原因。
• 采用基于GRU的编码器-解码器序列到序列神经模型，基于计划执行日志和故障标注进行训练。
• 使用两步分组留一法交叉验证，共10折，对故障场景进行模型训练与验证。
• 采用交叉熵损失函数，结合Adam优化算法，学习率为0.0001，编码器和解码器GRU隐藏层大小分别为20和49。
• 在解码器输入中引入原始特征（如物体存在性、距离、遮挡）和嵌入表示，以提升解释质量。
• 在训练过程中应用掩码机制，防止解码阶段暴露真实目标标记，从而提升泛化能力。

实验结果

研究问题

• RQ1 何种类型的信息构成有意义的解释，能够帮助非专家理解系统故障原因并选择适当的恢复操作？
• RQ2 如何构建模型以自动生成可泛化于多种故障类型与场景的自然语言解释？
• RQ3 相较于基于动作的解释或无解释，基于上下文的解释是否能显著提升非专家识别故障原因与选择正确恢复操作的能力？
• RQ4 自动化神经生成模型在机器人计划执行中，对不同故障场景的泛化能力达到何种程度？

主要发现

• 与基于动作的解释或无解释相比，基于上下文的解释显著提升了用户在识别故障原因和选择正确恢复操作方面的准确性。
• 获得任何解释的用户报告了更高的感知信心和更低的感知难度，相较于无解释组。
• 自动化解释生成模型在六种故障类型和一种正确操作解释类型上，整体泛化准确率达到89.7%，如混淆矩阵所示。
• 误报主要局限于同一故障类型内（例如，在检测故障下将“不存在”误分类为“遮挡”），表明模型在故障类别内具有较高一致性。
• 在导航任务中，“控制器”故障类型最常被误分类为正确导航解释（占19.6%），提示此类情况仍需改进区分能力。
• 非错误解释极少与错误解释混淆，表明模型能清晰区分故障状态与成功状态。