[论文解读] Explainable AI for Robot Failures: Generating Explanations that Improve User Assistance in Fault Recovery

Devleena Das, Siddhartha Banerjee+1 more|arXiv (Cornell University)|Jan 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 47被引用 15

一句话总结

本文提出 $ε_{err}$，一种针对非专家用户在任务执行过程中机器人故障的新型可解释人工智能解释方法。实验表明，结合环境上下文与近期动作历史的解释能显著提升用户识别故障原因及选择恢复方案的能力；同时验证了编码器-解码器模型可生成与人工编写版本性能相当的此类解释，且在家庭环境和未见过的办公室环境中均表现良好。

ABSTRACT

With the growing capabilities of intelligent systems, the integration of robots in our everyday life is increasing. However, when interacting in such complex human environments, the occasional failure of robotic systems is inevitable. The field of explainable AI has sought to make complex-decision making systems more interpretable but most existing techniques target domain experts. On the contrary, in many failure cases, robots will require recovery assistance from non-expert users. In this work, we introduce a new type of explanation, that explains the cause of an unexpected failure during an agent's plan execution to non-experts. In order for error explanations to be meaningful, we investigate what types of information within a set of hand-scripted explanations are most helpful to non-experts for failure and solution identification. Additionally, we investigate how such explanations can be autonomously generated, extending an existing encoder-decoder model, and generalized across environments. We investigate such questions in the context of a robot performing a pick-and-place manipulation task in the home environment. Our results show that explanations capturing the context of a failure and history of past actions, are the most effective for failure and solution identification among non-experts. Furthermore, through a second user evaluation, we verify that our model-generated explanations can generalize to an unseen office environment, and are just as effective as the hand-scripted explanations.

研究动机与目标

• 为解决在计划执行过程中机器人意外故障缺乏可解释人工智能的问题，特别是针对非专家用户。
• 识别在故障解释中哪些信息组件最有效地支持非专家用户诊断故障并选择恢复措施。
• 开发并评估一种自动化方法，用于生成既对非专家可理解又可在不同环境中通用的自然语言解释。
• 验证模型生成的解释在提升用户完成故障恢复任务表现方面是否与人工编写解释效果相当。

提出的方法

• 形式化定义一种新型解释类型 $ε_{err}$，用于向非专家用户解释机器人在任务执行过程中发生的意外故障。
• 开展用户研究，评估人工编写的解释，并识别出关键组件——即环境上下文和过去动作的历史记录——在故障与解决方案识别方面最为有效。
• 扩展现有的编码器-解码器神经网络模型，使其能够基于故障上下文和动作历史，自动生成自然语言 $ε_{err}$ 解释。
• 在模拟的家庭环境中训练并评估该模型，并测试其在未见过的办公室环境中的泛化能力。
• 通过三组间被试的用户研究，比较模型生成解释、人工编写解释和无解释三种条件下的表现，评估故障识别与解决方案识别能力。
• 采用统计分析（单因素方差分析，Tukey HSD事后检验）比较不同条件下故障识别（FId）与解决方案识别（SId）的F1分数。

实验结果

研究问题

• RQ1 在解释中，哪些类型的信息最有效地帮助非专家用户识别机器人故障的原因并选择合适的恢复方案？
• RQ2 能否通过自动化的神经序列到序列模型生成与人工编写解释在非专家用户故障恢复任务中效果相当的解释？
• RQ3 模型生成的解释在多大程度上能跨不同环境泛化，例如从家庭环境泛化到办公室环境？

主要发现

• 包含近期成功完成动作的历史记录以及对环境的上下文推理的解释，能显著提升非专家用户识别故障原因的能力。
• 与无解释相比，解释中包含上下文和历史信息可显著提升故障识别（FId）与解决方案识别（SId）的表现。
• 模型生成的解释（CB-H-M）在FId与SId上的表现与人工编写解释（CB-H）相当，两者之间无统计学显著差异。
• 模型生成的解释在未见过的环境中（办公室）也表现有效，证明其具备超越训练领域范围的泛化能力。
• 故障识别（FId）的F1分数在CB-H-M与CB-H条件下均显著高于无解释条件（p=0.0002）。
• 解决方案识别（SId）的F1分数在CB-H条件下相比无解释条件有显著提升（p=0.038），CB-H-M条件呈趋势性提升（p=0.060），且CB-H-M与CB-H之间无显著差异。