[论文解读] Explainable Reinforcement Learning for Broad-XAI: A Conceptual Framework and Survey

Richard Dazeley, Peter Vamplew+1 more|arXiv (Cornell University)|Aug 20, 2021

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了因果XRL框架（CXF），这是一个概念模型，将可解释强化学习（XRL）作为广义XAI的骨干，通过整合感知、目标、行为和结果中的因果推理，实现统一。它表明XRL能够提供超越简单决策解释的多层级、对话式解释，将强化学习置于构建可信、社会可接受AI系统的核心位置。

ABSTRACT

Broad Explainable Artificial Intelligence moves away from interpreting individual decisions based on a single datum and aims to provide integrated explanations from multiple machine learning algorithms into a coherent explanation of an agent's behaviour that is aligned to the communication needs of the explainee. Reinforcement Learning (RL) methods, we propose, provide a potential backbone for the cognitive model required for the development of Broad-XAI. RL represents a suite of approaches that have had increasing success in solving a range of sequential decision-making problems. However, these algorithms all operate as black-box problem solvers, where they obfuscate their decision-making policy through a complex array of values and functions. EXplainable RL (XRL) is relatively recent field of research that aims to develop techniques to extract concepts from the agent's: perception of the environment; intrinsic/extrinsic motivations/beliefs; Q-values, goals and objectives. This paper aims to introduce a conceptual framework, called the Causal XRL Framework (CXF), that unifies the current XRL research and uses RL as a backbone to the development of Broad-XAI. Additionally, we recognise that RL methods have the ability to incorporate a range of technologies to allow agents to adapt to their environment. CXF is designed for the incorporation of many standard RL extensions and integrated with external ontologies and communication facilities so that the agent can answer questions that explain outcomes and justify its decisions.

研究动机与目标

• 将可解释强化学习（XRL）确立为可解释人工智能（XAI）中一个独立且基础的分支，区别于传统的可解释机器学习（IML）。
• 通过倡导与人类认知和社会模型一致的多层级、集成化解释，弥补当前XAI研究中主要关注零阶解释（如特征重要性）的关键空白。
• 提出一个概念性框架——因果XRL框架（CXF），通过因果关系结构化感知、目标、行为和结果的解释。
• 识别并映射现有XRL技术到CXF组件，揭示目标驱动、情感感知和层次化强化学习相关解释中的研究空白与未来方向。
• 将XRL不仅视为解释决策的工具，更视为构建真正广义XAI系统认知基础的支柱，支持对话式、上下文感知的代理行为合理化。

提出的方法

• 提出因果XRL框架（CXF），一个包含七个组件的有向因果图，用于建模代理行为如何通过感知、倾向、目标和行为导致结果。
• 改编认知科学和归因理论中的因果解释网络（CEN），以在AI代理中建模类人因果推理。
• 提出简化版-CXF，聚焦于感知和行为原因，反映当前XRL研究的现状，并作为评估基线。
• 将现有XRL技术映射到CXF组件：XRL-感知借鉴IML技术用于特征提取和可解释性；XRL-行为通过Q值、策略和价值函数的内省，解释行为序列。
• 将外部本体论和通信机制整合到框架中，以实现针对解释对象需求定制的自然语言解释。
• 提出未来研究方向，如使用预测状态编码器实现基于事件的解释，以及在层次化、多目标和内在动机强化学习中实现可解释性。

实验结果

研究问题

• RQ1 如何将XRL概念化为广义XAI中一个独立且基础的组成部分，超越标准的IML方法？
• RQ2 为全面建模强化学习代理在感知、目标、行为和结果方面的解释，需要哪些因果组件？
• RQ3 当前XRL技术与所提出的因果XRL框架（CXF）如何对齐？关键的研究空白在哪里？
• RQ4 层次化、多目标和内在动机强化学习在支持目标驱动和情感感知解释方面有哪些潜力？
• RQ5 预测状态表征和基于期望的推理在推动XRL中基于事件和对比性解释方面发挥什么作用？

主要发现

• 因果XRL框架（CXF）成功地使用源自认知科学的七组件互联结构，映射了强化学习代理从感知到结果的完整因果推理谱系。
• 当前大多数XRL-感知研究源自IML技术，特别是在函数逼近和状态特征解释方面；尽管新兴方法通过策略和价值函数的内省已超越IML。
• XRL-行为研究显示，强化学习中的时间与序列推理能够实现对行为序列的因果解释，其中基于模型和基于价值的方法提供了动态且可解释的解释。
• 通过利用状态特征与结果之间的因果联系，反事实和对比性解释在XRL中正逐渐兴起，表明解释类型正向更符合人类认知的方向演进。
• 简化版-CXF聚焦于感知和行为原因，反映了当前技术水平，并可作为评估XRL方法的实用基准。
• 未来研究机会包括将层次化强化学习、多目标优化、内在动机以及情感感知模型整合到CXF中，以支持更丰富、上下文敏感的解释。