[论文解读] Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep RL

Akanksha Atrey, Kaleigh Clary+1 more|arXiv (Cornell University)|Dec 9, 2019

Explainable Artificial Intelligence (XAI)被引用 3

一句话总结

本文提出了一种反事实评估框架，用于评估深度强化学习（DRL）中显著性图解释的有效性，以Atari游戏为基准。结果表明，显著性图更适合用于探索而非解释，因为通过反事实扰动测试时，许多关于智能体行为的断言无法被证伪且语义上不一致。

ABSTRACT

Saliency maps are frequently used to support explanations of the behavior of deep reinforcement learning (RL) agents. However, a review of how saliency maps are used in practice indicates that the derived explanations are often unfalsifiable and can be highly subjective. We introduce an empirical approach grounded in counterfactual reasoning to test the hypotheses generated from saliency maps and assess the degree to which they correspond to the semantics of RL environments. We use Atari games, a common benchmark for deep RL, to evaluate three types of saliency maps. Our results show the extent to which existing claims about Atari games can be evaluated and suggest that saliency maps are best viewed as an exploratory tool rather than an explanatory tool.

研究动机与目标

• 解决深度强化学习中显著性图解释缺乏可证伪性和客观评估的问题。
• 探究显著性图是否准确反映了强化学习环境中状态特征的语义相关性。
• 提出并应用一种反事实推理框架，以检验由显著性图推导出的假设。
• 评估基于显著性图的现有DRL智能体行为断言，在语义扰动下是否依然成立。

提出的方法

• 在Atari环境中对输入状态施加反事实扰动，系统性地修改显著性图识别出的显著区域。
• 使用三种显著性图方法——Grad-CAM、Grad和Integrated Gradients——生成关于智能体行为的假设。
• 通过扰动显著区域后测量智能体策略和回报的变化，以检验预测是否如预期改变。
• 通过评估扰动是否导致与环境语义一致的行为变化，比较显著性图的语义一致性。
• 在标准Atari环境中采用受控实验设置，以确保反事实测试的可重现性和有效性。
• 通过分析扰动是否导致可预测且语义上合理的智能体行为变化，评估显著性图解释的可证伪程度。

实验结果

研究问题

• RQ1 DRL智能体的显著性图解释在多大程度上与Atari游戏环境的实际语义相对应？
• RQ2 反事实扰动能否用于证伪或验证由显著性图推导出的假设？
• RQ3 显著性图在识别深度强化学习智能体中行为相关状态特征方面的可靠性如何？
• RQ4 当显著性图的显著区域被扰动时，显著性图是否会导致一致且语义上合理的智能体策略变化？
• RQ5 基于显著性图的现有智能体行为断言是否可通过反事实分析进行经验验证？

主要发现

• 显著性图常生成无法证伪的假设，因为对显著区域的扰动并不总是导致预期的智能体行为变化。
• 许多显著性图解释与Atari游戏的语义结构不一致，表明显著性与有意义的环境特征之间对应性差。
• 反事实分析表明，显著性图的大量断言无法通过基于扰动的测试得到验证。
• 研究发现，显著性图在假设生成方面比在解释方面更有效，原因在于其易受主观和非语义性解释的影响。
• 结果表明，当前DRL中的显著性方法在受控反事实评估下缺乏鲁棒性和语义基础。
• 本文结论认为，显著性图在深度强化学习中应主要被视为探索性工具，而非解释性工具。