[论文解读] Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning

Akanksha Atrey, Kaleigh Clary+1 more|arXiv (Cornell University)|Dec 9, 2019

Explainable Artificial Intelligence (XAI)参考文献 47被引用 31

一句话总结

本文提出了一种反事实干预框架，用于评估深度强化学习（DRL）智能体中的显著性图是否反映了环境特征与行为之间因果性的语义级关系。通过在Atari游戏状态上施加有针对性的像素扰动，并测量显著性与智能体行为的变化，作者发现显著性图通常无法捕捉有意义的因果联系，因此结论认为它们更适合用作探索性工具而非解释性工具。

ABSTRACT

Saliency maps are frequently used to support explanations of the behavior of deep reinforcement learning (RL) agents. However, a review of how saliency maps are used in practice indicates that the derived explanations are often unfalsifiable and can be highly subjective. We introduce an empirical approach grounded in counterfactual reasoning to test the hypotheses generated from saliency maps and assess the degree to which they correspond to the semantics of RL environments. We use Atari games, a common benchmark for deep RL, to evaluate three types of saliency maps. Our results show the extent to which existing claims about Atari games can be evaluated and suggest that saliency maps are best viewed as an exploratory tool rather than an explanatory tool.

研究动机与目标

• 调查当前显著性图在实践中如何被用于解释DRL智能体的行为。
• 识别现有基于显著性图的解释中的局限性，特别是其不可证伪性和主观性。
• 开发一种基于干预的反事实方法论，以实证检验从显著性图中推导出的假设。
• 评估Atari环境中像素级显著性推理与人类层面语义推理之间的一致性。
• 证明显著性图通常无法反映环境语义与智能体决策之间的因果关系。

提出的方法

• 设计一种基于ToyBox环境的反事实干预框架，以模拟Atari游戏状态的受控扰动。
• 在Breakout及其他Atari游戏中，对DRL智能体应用三种类型的显著性图——基于梯度的方法、综合梯度法和引导反向传播法。
• 通过在垂直或水平轴上反射游戏元素（如小球、挡板、砖块）来执行有针对性的干预，以检验对称性与因果一致性。
• 在每次干预后，测量显著性模式和智能体行为（动作选择、奖励估计）的变化，以评估假设的有效性。
• 使用人工标注的语义概念（如Breakout中的“隧道”）作为参考点，将像素级显著性与语义级推理进行比较。
• 应用因果图模型来形式化环境状态、智能体策略与显著性输出之间的关系，从而实现结构化的假设检验。

实验结果

研究问题

• RQ1 显著性图在多大程度上反映了语义特征（如Breakout中的隧道）与智能体行为之间的因果关系？
• RQ2 在环境状态发生对称扰动时，显著性模式是否保持一致？若显著性图真实反映了语义推理，则应保持一致。
• RQ3 像素级显著性推理与人类对智能体行为的语义推理在多大程度上一致？
• RQ4 反事实干预能否证伪从DRL中显著性图推导出的常见假设？
• RQ5 在基于视觉的深度强化学习中，使用显著性图作为解释工具存在哪些局限性？

主要发现

• 在游戏元素发生对称反射时，显著性图未能保持显著性模式的一致性，表明其无法可靠反映与Breakout中‘隧道’等语义结构相关联的智能体行为。
• Breakout中隧道周围的显著性强度和模式在水平或垂直反射后并不保持不变，这削弱了‘智能体学会瞄准隧道’这一说法的可信度。
• 显著性图常常突出那些对智能体决策过程无语义意义的区域，表明其反映的是模型特异性的人工制品，而非环境语义。
• 基于显著性的推理与人工标注的语义概念之间的一致性较弱，表明显著性图无法可靠用于生成可证伪的解释。
• 反事实干预有效暴露了基于显著性图解释中的缺陷，证明其更适合用于假设生成而非验证。
• 本研究结论认为，显著性图在深度强化学习中应作为探索性工具而非解释性工具使用。