[论文解读] Explainable Autonomous Robots: A Survey and Perspective

Tatsuya Sakai, Takayuki Nagai|arXiv (Cornell University)|May 6, 2021

Explainable Artificial Intelligence (XAI)参考文献 63被引用 4

一句话总结

本综述提出了一种可解释自主机器人（XAR）的框架，通过建模用户心理状态并调整解释的粒度，使机器人能够以人类可理解的方式动态解释其行为、意图和决策。主要贡献在于为自主系统中的可解释性提供统一定义，并通过自适应、上下文感知的通信方式，提出将解释生成集成到机器人决策过程中的路线图。

ABSTRACT

Advanced communication protocols are critical to enable the coexistence of autonomous robots with humans. Thus, the development of explanatory capabilities is an urgent first step toward autonomous robots. This survey provides an overview of the various types of "explainability" discussed in machine learning research. Then, we discuss the definition of "explainability" in the context of autonomous robots (i.e., explainable autonomous robots) by exploring the question "what is an explanation?" We further conduct a research survey based on this definition and present some relevant topics for future research.

研究动机与目标

• 在超越机器学习可解释性的背景下，定义自主机器人中的可解释性，重点关注人与机器人之间的相互理解。
• 解决由于决策过程不透明而造成的人机信任关键缺口，尤其是在实时交互中。
• 提出一种框架，使机器人能够估计用户的心理模型，并根据用户的知识水平和信任程度定制解释。
• 识别解释时机、内容以及机器人通信中伦理完整性的核心研究挑战。
• 将解释生成作为自主行为的一等组件，集成到机器人的行为空间中。

提出的方法

• 将自主机器人中的可解释性定义为：以符合人类认知模型的方式传达行为背后推理的能力。
• 引入三状态世界模型：机器人的内部状态、用户的内部状态以及外部环境，以支持解释生成。
• 将解释呈现视为机器人行为空间中的一项动作，从而可通过标准强化学习算法进行学习。
• 通过比较用户预测行为与机器人自身决策模型之间的差异，提取相关解释内容。
• 基于用户特定的信任和知识水平，采用自适应的解释粒度，以避免信息过载。
• 考虑非真实解释的伦理影响，提出即使短期有用，说谎也会损害长期信任。

实验结果

研究问题

• RQ1 在自主机器人背景下，什么构成有效解释？它与机器学习中的可解释性有何不同？
• RQ2 机器人如何动态估计用户的心理模型，以生成上下文适当的解释？
• RQ3 哪些机制使机器人能够在人机交互中决定何时、何地以及如何解释？
• RQ4 如何将解释生成正式集成到机器人的决策与动作选择过程中？
• RQ5 在解释生成偏离实际推理过程时，其伦理边界是什么？

主要发现

• 自主机器人中的可解释性本质上是一个沟通问题，要求对内部状态实现相互理解，而不仅仅是输出解释。
• 解释的粒度和内容必须根据用户的知识水平和信任程度进行定制，以避免信息过载或误导用户。
• 解释生成可被建模为机器人行为空间中的一项动作，从而可使用标准强化学习框架实现端到端学习。
• 未能解释会导致不信任，即使解释准确，若时机不当或与用户关切无关，也可能无效。
• 当机器人生成事实不准确的解释时，伦理问题浮现，此类做法可能损害系统长期信任。
• 该框架使机器人不仅能传达‘做什么’，还能传达‘为什么这么做’，从而促进共享意图感。