[论文解读] Explaining Reinforcement Learning with Shapley Values

Daniel Beechey, Thomas M. S. Smith+1 more|arXiv (Cornell University)|Jun 9, 2023

Explainable Artificial Intelligence (XAI)被引用 6

一句话总结

本文提出了SVERL（用于解释强化学习的Shapley值），一种理论基础扎实的框架，利用Shapley值来归因个体状态特征对强化学习智能体性能的贡献。通过基于策略的特征函数建模特征贡献，并采用流形上采样进行近似，SVERL生成了直观且准确的解释，这些解释在多个环境中均与人类直觉一致。

ABSTRACT

For reinforcement learning systems to be widely adopted, their users must understand and trust them. We present a theoretical analysis of explaining reinforcement learning using Shapley values, following a principled approach from game theory for identifying the contribution of individual players to the outcome of a cooperative game. We call this general framework Shapley Values for Explaining Reinforcement Learning (SVERL). Our analysis exposes the limitations of earlier uses of Shapley values in reinforcement learning. We then develop an approach that uses Shapley values to explain agent performance. In a variety of domains, SVERL produces meaningful explanations that match and supplement human intuition.

研究动机与目标

• 为使用函数逼近器（如深度神经网络）的高容量强化学习智能体解决缺乏理论基础的后处理解释方法的问题。
• 识别并纠正先前在强化学习中对Shapley值应用的理论缺陷，这些应用往往错误地使用了该框架。
• 开发一种新框架，通过量化个体状态特征对期望回报的贡献来解释智能体性能。
• 确保解释方法在理论上严谨，满足博弈论中的公平性公理，同时保持计算上的可行性。
• 验证所得解释是否与人类直觉一致，并提升现实世界强化学习应用中的可解释性。

提出的方法

• 提出SVERL，一种将强化学习解释建模为合作博弈的框架，其中状态特征为参与者，性能为结果。
• 将特征函数 $ v(C) $ 定义为仅可观测集合 $ C $ 中的特征时的期望回报，且完整策略行为基于这些特征进行条件化。
• 采用标准的Shapley值公式 $ \phi_i(v) = \sum_{C \subseteq \mathcal{F} \setminus \{i\}} \frac{|C|!(|\mathcal{F}| - |C| - 1)!}{|\mathcal{F}|!} \cdot \delta(i, C) $，其中 $ \delta(i, C) $ 表示将特征 $ i $ 加入联盟 $ C $ 的边际增益。
• 应用流形上采样以近似特征函数值，通过基于特征子集的条件采样来估计期望回报。
• 采用蒙特卡洛滚动回溯法来估计不同部分观测策略下的期望回报，从而实现Shapley值的可扩展计算。
• 引入SVERL-P，一种变体，显式建模在移除特征时策略的变化，确保对性能影响的准确归因。

Figure 2 : Top panel: Shapley values applied to a state-action value function in Gridworld-A ( Figure 1(a) ). Bottom panel: SVERL-P, presented in Section 4 , for the same domain. The optimal action is always North so we intuitively expect contributions to performance to be zero for all state feature

实验结果

研究问题

• RQ1 如何正确且一致地将Shapley值应用于解释强化学习策略，避免先前的理论错误？
• RQ2 在强化学习中，哪些方面最值得解释，为何智能体性能是关键但被忽视的解释目标？
• RQ3 基于Shapley值的特征解释能否产生直观且有意义的见解，与人类理解保持一致？
• RQ4 如何在现实强化学习任务中常见的高维状态空间中高效近似Shapley值？
• RQ5 使用特征归因在提升信任度、调试和策略设计方面对强化学习系统具有哪些实际影响？

主要发现

• SVERL 提供了一个理论严谨的解释框架，满足Shapley值的公平性公理，纠正了先前在强化学习中对Shapley值应用的错误或不完整之处。
• SVERL-P 变体通过显式建模特征移除时的策略变化，生成了既准确又符合人类直觉的解释，尤其在网格世界等环境中表现优异。
• 通过流形上采样实现的近似计算，使SVERL能够在大状态空间中可行部署，其收敛性保证与监督学习中的类似。
• 该方法成功识别出对智能体性能贡献最大的状态特征，为策略改进和调试提供了可操作的见解。
• SVERL的解释具有可解释性和可扩展性，允许用户对特征角色提出假设——尽管此类假设需通过实证验证。
• 该框架具有通用性，可与现有的Shapley值方法进展（如groupShapley）兼容，适用于可扩展的、分组的特征归因。

Figure 3 : On the left: Shapley values applied to a state-value function in a Tic-Tac-Toe state. On the right: SVERL-P, presented in Section 4 , for the same state. Shapley values are represented using a color scale projected onto each cell. There are 9 state features, corresponding to each position