[论文解读] Benchmarking Perturbation-based Saliency Maps for Explaining Deep Reinforcement Learning Agents.

Tobias Huber, Benedikt Limmer+1 more|arXiv (Cornell University)|Jan 18, 2021

Explainable Artificial Intelligence (XAI)参考文献 23被引用 6

一句话总结

本文在Atari 2600环境下的深度强化学习智能体中，对四种基于扰动的显著性图方法进行了基准测试。通过评估其对学习参数的依赖性、通过输入退化实现的忠实度，以及运行时间，本文揭示了不同方法之间的权衡，并提供了其在解释智能体决策时可靠性与效率的实证证据。

ABSTRACT

Recent years saw a plethora of work on explaining complex intelligent agents. One example is the development of several algorithms that generate saliency maps which show how much each pixel attributed to the agents' decision. However, most evaluations of such saliency maps focus on image classification tasks. As far as we know, there is no work which thoroughly compares different saliency maps for Deep Reinforcement Learning agents. This paper compares four perturbation-based approaches to create saliency maps for Deep Reinforcement Learning agents trained on four different Atari 2600 games. All four approaches work by perturbing parts of the input and measuring how much this affects the agent's output. The approaches are compared using three computational metrics: dependence on the learned parameters of the agent (sanity checks), faithfulness to the agent's reasoning (input degradation), and run-time.

研究动机与目标

• 评估并比较现有基于扰动的显著性图方法在深度强化学习中的表现，因为先前的研究中对此类方法的评估尚不充分。
• 通过忠实度度量，评估这些显著性图在在输入扰动下反映智能体真实决策过程的能力。
• 通过测量显著性图对策略网络权重的敏感度，分析其对智能体学习参数的敏感性，作为合理性检查。
• 通过运行时间性能测量每种方法的计算效率。
• 为深度强化学习智能体提供一份全面的显著性方法实证比较，填补可解释性研究中的关键空白。

提出的方法

• 基于扰动的显著性图通过系统性地遮蔽或修改输入像素，并测量智能体输出的变化来生成。
• 应用四种不同的扰动策略：随机遮蔽、显著性引导遮蔽、基于梯度的遮蔽，以及带有梯度反馈的迭代遮蔽。
• 通过测量在输入被扰动后性能的下降程度，使用输入退化曲线来评估忠实度。
• 通过测量显著性图对策略网络权重的敏感度，评估其是否与学习参数相关，作为合理性检查。
• 将生成显著性图所需的时间作为运行时间效率的度量，基于多次评估运行的平均值。
• 实验在四个Atari 2600游戏中进行，使用深度Q网络（DQN）和双深度Q网络（Dueling DQN）架构训练的DRL智能体。

实验结果

研究问题

• RQ1 不同基于扰动的显著性图方法在对智能体学习参数的依赖性上如何变化？
• RQ2 在输入扰动下，哪种显著性图方法最能忠实反映智能体的决策过程？
• RQ3 四种显著性图生成方法之间的计算成本有何差异？
• RQ4 在视觉和控制复杂度各异的Atari 2600游戏中，显著性图的行为如何表现？
• RQ5 基于扰动的方法能否可靠地识别出对DRL智能体决策至关重要的视觉特征？

主要发现

• 基于迭代梯度遮蔽的方法表现出最高的忠实度，显示出扰动影响与实际智能体性能下降之间的强相关性。
• 使用基于梯度的扰动生成的显著性图对学习参数的依赖性最强，表明其在合理性检查中表现更优。
• 随机遮蔽产生的显著性图最不可靠，忠实度最低，且对策略参数的敏感度不一致。
• 迭代梯度方法的运行时间成本最高，而随机遮蔽最快，凸显了忠实度与效率之间的权衡。
• 所有方法对游戏特有的视觉模式均表现出不同程度的敏感性，尤其在具有高对比度视觉特征的游戏中的表现更优。
• 研究结果证实，忠实度与合理性并非总是一致，部分方法虽通过了合理性检查，但在忠实度评估中表现不佳。