[论文解读] Explainable Reinforcement Learning via Model Transforms

Mira Finkelstein, Lucy Liu+5 more|arXiv (Cornell University)|Sep 24, 2022

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出了一种新颖的可解释强化学习（XRL）框架，通过形式化马尔可夫决策过程（MDP）变换，生成人类可理解的解释，以说明智能体实际行为与观察者预期之间的差异。即使在环境模型不完整或智能体为无模型强化学习的情况下，该方法也能自动搜索符号化MDP变换（如状态约简或结果松弛），使智能体策略与预期行为对齐，借助PRE+CLUSTER等高效搜索算法实现高质量解释。

ABSTRACT

Understanding emerging behaviors of reinforcement learning (RL) agents may be difficult since such agents are often trained in complex environments using highly complex decision making procedures. This has given rise to a variety of approaches to explainability in RL that aim to reconcile discrepancies that may arise between the behavior of an agent and the behavior that is anticipated by an observer. Most recent approaches have relied either on domain knowledge that may not always be available, on an analysis of the agent's policy, or on an analysis of specific elements of the underlying environment, typically modeled as a Markov Decision Process (MDP). Our key claim is that even if the underlying model is not fully known (e.g., the transition probabilities have not been accurately learned) or is not maintained by the agent (i.e., when using model-free methods), the model can nevertheless be exploited to automatically generate explanations. For this purpose, we suggest using formal MDP abstractions and transforms, previously used in the literature for expediting the search for optimal policies, to automatically produce explanations. Since such transforms are typically based on a symbolic representation of the environment, they can provide meaningful explanations for gaps between the anticipated and actual agent behavior. We formally define the explainability problem, suggest a class of transforms that can be used for explaining emergent behaviors, and suggest methods that enable efficient search for an explanation. We demonstrate the approach on a set of standard benchmarks.

研究动机与目标

• 解决强化学习智能体出现涌现行为时的解释挑战，特别是当策略与人类预期不一致时。
• 克服现有XRL方法依赖领域特定知识或对神经网络进行事后分析的局限性。
• 实现在部分或近似MDP模型下生成解释，即使在无模型强化学习设置中亦可适用。
• 开发一种自动且可扩展的方法，识别能够调和智能体行为与观察者预期的符号化MDP变换。
• 通过剪枝和策略自举技术提升复杂环境中解释搜索的效率。

提出的方法

• 将可解释性问题形式化为强化学习策略解释（RLPE），包含一个执行者、一个具有预期策略的观察者，以及一个可访问部分MDP模型的解释器。
• 利用现有MDP变换文献中的方法——如状态空间约简、可能结果松弛、先决条件松弛、全结果确定化和删除松弛——对环境模型进行符号化操作。
• 对单个动作或变量应用参数化变换，并基于环境的结构和动态自动进行实例化。
• 实现三种搜索策略：BASE（基于Dijkstra的最优搜索）、PRE-TRAIN（基于策略自举的聚焦更新搜索）和PRE+CLUSTER（通过分组变换评估进行剪枝）。
• 使用满意度比率指标评估执行者策略与预期策略在各状态下的对齐程度，将解释长度作为距离度量。
• 将搜索深度限制为三，并使用CPU集群进行评估，重点关注单智能体和多智能体基准任务，使用DQN和PPO智能体。

实验结果

研究问题

• RQ1 即使在模型不完整或智能体为无模型强化学习的情况下，是否可以使用形式化MDP变换自动生成有意义的解释，以说明强化学习智能体行为与观察者预期之间的差异？
• RQ2 不同搜索策略（BASE、PRE-TRAIN、PRE+CLUSTER）在解释质量与计算效率之间平衡的效能如何？
• RQ3 符号化MDP变换（如松弛或抽象）在标准强化学习基准中，能在多大程度上调和智能体实际策略与预期策略？
• RQ4 该方法在单智能体和多智能体环境中，面对不同复杂度和动态特性时的可扩展性如何？
• RQ5 基于分组变换评估的剪枝（例如，对多个动作应用删除松弛）是否能显著减少搜索时间，同时不牺牲解释质量？

主要发现

• PRE+CLUSTER在计算时间与解释质量之间实现了最佳平衡，其运行时间优于BASE和PRE-TRAIN，同时保持了较高的满意度比率。
• 在Triangle Tireworld环境中，PRE+CLUSTER的运行速度比BASE快七倍以上，满意度比率仅出现轻微下降（最坏情况下的成功率为84%）。
• 各环境中满意度比率的平均方差极低（0.03），表明方法在不同环境中的性能表现一致。
• 在PPO多智能体设置中，PRE+CLUSTER实现了最快的运行时间，与最优方法相比，政策满意度率最多下降10%。
• PRE+CLUSTER中采用的分组变换评估与剪枝技术显著减少了需探索的独立变换数量，提升了搜索效率，且未造成显著的准确性损失。
• 该方法成功在未显式定义转移动态的环境中生成了解释，方法首先通过学习预条件松弛的转移矩阵实现。