[论文解读] Explain Your Move: Understanding Agent Actions Using Specific and Relevant Feature Attribution

Nikaash Puri, Sukriti Verma+5 more|arXiv (Cornell University)|Dec 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 27被引用 32

一句话总结

SARFA 引入了一种基于扰动的显著性方法，强调与行动相关且具有特异性的特征，能够比以往方法在棋类、围棋和 Atari 的强化学习代理行动上给出更易于解释的解释。它通过对特定性（对所选行动的影响）和相关性（尽量减少对其他行动的影响）进行调和平均来实现。

ABSTRACT

As deep reinforcement learning (RL) is applied to more tasks, there is a need to visualize and understand the behavior of learned agents. Saliency maps explain agent behavior by highlighting the features of the input state that are most relevant for the agent in taking an action. Existing perturbation-based approaches to compute saliency often highlight regions of the input that are not relevant to the action taken by the agent. Our proposed approach, SARFA (Specific and Relevant Feature Attribution), generates more focused saliency maps by balancing two aspects (specificity and relevance) that capture different desiderata of saliency. The first captures the impact of perturbation on the relative expected reward of the action to be explained. The second downweighs irrelevant features that alter the relative expected rewards of actions other than the action to be explained. We compare SARFA with existing approaches on agents trained to play board games (Chess and Go) and Atari games (Breakout, Pong and Space Invaders). We show through illustrative examples (Chess, Atari, Go), human studies (Chess), and automated evaluation methods (Chess) that SARFA generates saliency maps that are more interpretable for humans than existing approaches. For the code release and demo videos, see https://nikaashpuri.github.io/sarfa-saliency/.

研究动机与目标

• 在深度强化学习代理应用于棋盘游戏和街机游戏时，推动可解释性解释的产生。
• 开发一种显著性方法，聚焦于与代理所选特定行动相关的特征。
• 解决以往扰动基显著性方法的局限性，这些方法要么突出非相关特征，要么对所有行动产生同质效应。

提出的方法

• 基于扰动和 Q 值为每个状态特征 f 定义显著性 S[f]。
• 使用对 Q 值的 softmax 计算相对回报 P(s, ‘’a’‘) 和所选行动的扰动影响 Δp。
• 通过归一化的相对回报在排除所选行动后之间的 KL 发散来计算相关性项。
• 将 Δp 与相似性 K = 1/(1 + D_KL) 通过调和平均结合，得到 S[f] = 2KΔp/(K+Δp)。
• 确保显著性突出具体影响所选行动的特征，同时对影响其他行动的特征进行降权。
• 在拥有黑盒 Q(s, a) 访问的情况下，在 Chess (Stockfish)、Go (MiniGo) 和 Atari (Breakout, Pong, Space Invaders) 上评估 SARFA。

实验结果

研究问题

• RQ1 SARFA 是否比以往的扰动基显著方法产生更聚焦行动且更便于人类理解的显著性图？
• RQ2 特异性与相关性如何促进在棋类、围棋和 Atari 领域的更好人类理解？
• RQ3 SARFA 是否能够揭示棋局中的有意义的战术模式，并提升人类解谜/解题表现？
• RQ4 SARFA 对扰动是否鲁棒，并且能否适用于黑盒 RL 代理？

主要发现

• SARFA 产生了更加聚焦的显著性图，突出与所选走法或行动实际相关的棋子或区域。
• 在棋类谜题中，使用者参与者的实验中，SARFA 显著性带来更高的正确率（72.41%）和更快的解题时间（67.02 s），优于基线。
• SARFA 的棋谱数据集 ROC 分析显示它在识别对人类相关的棋子方面优于 Greydanus et al. 与 Iyer et al. 的方法。
• 在人类在某些设置下使用 SARFA 指引解棋时，准确性大约提高 25%，解题速度提高约 31% 相较于基线。
• SARFA 的显著性解释了具体的战术模式（如钉、两步将死、超载等）通过显式的显著性图呈现。
• 鲁棒性测试表明，对不改变目标行动的扰动，SARFA 显著性保持稳定（扰动数据集的 AUC 约为 0.92）。