[论文解读] Explainable Goal-Driven Agents and Robots -- A Comprehensive Review

Sado Fatai, Chu Kiong Loo+3 more|arXiv (Cornell University)|Apr 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 206被引用 6

一句话总结

本文全面综述了可解释的目标驱动智能体与机器人，提出了一套框架，通过符号推理、感知解释和认知建模来增强人工智能系统的透明度与可解释性。该框架整合了人类在回路中的信念、欲望、意图与计划的沟通机制，以解决安全关键型机器人应用中的信任缺陷。

ABSTRACT

Recent applications of autonomous agents and robots, such as self-driving cars, scenario-based trainers, exploration robots, and service robots have brought attention to crucial trust-related challenges associated with the current generation of artificial intelligence (AI) systems. AI systems based on the connectionist deep learning neural network approach lack capabilities of explaining their decisions and actions to others, despite their great successes. Without symbolic interpretation capabilities, they are black boxes, which renders their decisions or actions opaque, making it difficult to trust them in safety-critical applications. The recent stance on the explainability of AI systems has witnessed several approaches on eXplainable Artificial Intelligence (XAI); however, most of the studies have focused on data-driven XAI systems applied in computational sciences. Studies addressing the increasingly pervasive goal-driven agents and robots are still missing. This paper reviews approaches on explainable goal-driven intelligent agents and robots, focusing on techniques for explaining and communicating agents perceptual functions (example, senses, and vision) and cognitive reasoning (example, beliefs, desires, intention, plans, and goals) with humans in the loop. The review highlights key strategies that emphasize transparency, understandability, and continual learning for explainability. Finally, the paper presents requirements for explainability and suggests a roadmap for the possible realization of effective goal-driven explainable agents and robots.

研究动机与目标

• 解决现代人工智能驱动的智能体与机器人在可解释性方面的不足，特别是在自动驾驶汽车和服务机器人等安全关键型应用中。
• 识别连接主义深度学习系统中‘黑箱’决策机制带来的核心挑战，此类问题阻碍了人类的信任与问责。
• 聚焦于目标驱动系统中的可解释性，分析感知功能（如视觉、传感）与认知推理（如信念、意图、计划）的机制。
• 提出一个统一框架，实现透明、可理解且可持续学习的智能体行为，并配备以人类为中心的解释机制。
• 确立开发真实世界部署中有效、可信、可解释的智能体与机器人所需的要求与路线图。

提出的方法

• 系统调研并分类现有可解释人工智能（XAI）方法，重点关注机器人领域中的目标驱动智能体与机器人。
• 整合符号人工智能技术，用于建模与解释信念、欲望、意图与计划（BDI推理）等认知状态。
• 强调感知解释，即将传感器输入（如视觉、激光雷达）映射为人类可理解的表示形式。
• 提出人类在回路中的通信机制，实现实时传达智能体的决策与推理过程。
• 应用持续学习原则，确保解释系统能随智能体行为与环境变化而同步演化。
• 采用跨学科视角，融合机器人学、认知科学与XAI，设计兼具功能性与可解释性的系统。

实验结果

研究问题

• RQ1 如何在感知输入与认知推理过程中实现目标驱动智能体与机器人的可解释性？
• RQ2 哪些技术能够实现信念、欲望、意图与计划的透明化沟通，以向人类用户传达？
• RQ3 如何将符号推理与深度学习相结合，在保持性能的同时降低系统透明度？
• RQ4 在安全关键型机器人应用中，构建可信、可解释智能体的关键需求是什么？
• RQ5 什么样的路线图可指导下一代可解释目标驱动智能体与机器人的开发？

主要发现

• 当前基于深度学习的人工智能系统缺乏内在可解释性，导致决策过程不透明，严重削弱了在安全关键型机器人应用中的信任度。
• 对BDI（信念-欲望-意图）状态的符号化建模，能够为人类用户提供结构化、可解释的智能体行为说明。
• 感知解释——即将原始传感器数据映射为人类可理解的概念——显著提升了用户对智能体行为的理解。
• 人类在回路中的解释机制增强了透明度，并促进了人类与自主智能体之间的协作。
• 持续学习对于在智能体适应新环境与新任务时维持解释的一致性与准确性至关重要。
• 一个结合符号推理、感知解释与交互式解释的统一框架，是推动可信机器人系统发展的关键。