[论文解读] Are Gradient-based Saliency Maps Useful in Deep Reinforcement Learning?

Matthias Rosynski, Frank Kirchner+1 more|arXiv (Cornell University)|Dec 2, 2020

Reinforcement Learning in Robotics参考文献 14被引用 4

一句话总结

本文研究了梯度基显著性图在深度强化学习（DRL）中的效用，表明Grad-CAM和引导反向传播等技术能提供早期、可解释的代理决策洞察，优于仅依赖奖励信号的调试方式。本文提出G1Grad-Cam这一新方法，可更早检测训练错误，并比标准Grad-CAM更有效地揭示特征重要性，尤其在初始奖励不可靠的异策略算法中表现更优。

ABSTRACT

Deep Reinforcement Learning (DRL) connects the classic Reinforcement Learning algorithms with Deep Neural Networks. A problem in DRL is that CNNs are black-boxes and it is hard to understand the decision-making process of agents. In order to be able to use RL agents in highly dangerous environments for humans and machines, the developer needs a debugging tool to assure that the agent does what is expected. Currently, rewards are primarily used to interpret how well an agent is learning. However, this can lead to deceptive conclusions if the agent receives more rewards by memorizing a policy and not learning to respond to the environment. In this work, it is shown that this problem can be recognized with the help of gradient visualization techniques. This work brings some of the best-known visualization methods from the field of image classification to the area of Deep Reinforcement Learning. Furthermore, two new visualization techniques have been developed, one of which provides particularly good results. It is being proven to what extent the algorithms can be used in the area of Reinforcement learning. Also, the question arises on how well the DRL algorithms can be visualized across different environments with varying visualization techniques.

研究动机与目标

• 评估梯度基显著性图是否可作为深度强化学习中的有效调试工具。
• 评估现有可视化技术（如Grad-CAM和引导反向传播）在DRL环境中的可解释性与可靠性。
• 开发并验证新型可视化方法，特别是G1Grad-Cam，以增强训练过程中的特征检测与错误定位能力。
• 确定显著性方法是否能在异策略算法中，比基于奖励的分析更早检测出架构或实现错误。
• 探究是否可设计动作判别型显著性方法，以突出最影响代理决策的特征。

提出的方法

• 将四种成熟的梯度基可视化技术——Grad-CAM、引导反向传播、Grad-CAM++以及一种新方法G1Grad-Cam——适配并应用于Atari环境中的DRL代理。
• 提出G1Grad-Cam作为Grad-CAM的改进变体，通过强调最终卷积层中的高梯度区域，提升特征定位能力。
• 使用基于扰动的显著性度量（如梯度的有限差分近似）比较输入区域移除对策略输出的影响。
• 在Breakout和Pong等环境中的多个DRL代理（如DDDQN、Split Attention Agent）上应用可视化技术，评估其一致性和可解释性。
• 在训练早期阶段评估显著性图，并与稀疏且噪声较大的奖励信号进行对比，以评估其早期诊断潜力。
• 进行消融研究，分析负梯度的影响及其在突出特征边界方面的作用，提示其具有类似拉普拉斯算子的边缘检测效应。

实验结果

研究问题

• RQ1 在异策略DRL算法中，梯度基显著性图是否能比基于奖励的监控更早检测出训练错误？
• RQ2 引导反向传播和Grad-CAM方法是否能在DRL代理中揭示有意义且具有物理可解释性的特征，还是会产生误导性伪影？
• RQ3 所提出的G1Grad-Cam方法是否能比标准Grad-CAM更准确地识别影响代理行为的特征？
• RQ4 显著性图在多大程度上能揭示代理是否在学习正确特征，还是因奖励塑造而记忆了特定模式？
• RQ5 是否存在一种方法可使显著性方法具备动作判别性，从而突出最影响所选动作的特征？

主要发现

• G1Grad-Cam和Grad-CAM在训练初期即生成可解释的可视化结果，甚至在奖励开始上升之前即可实现，从而实现对网络问题的快速检测。
• 引导反向传播在检测特征重要性及识别特定网络层或分支中的错误方面优于Grad-CAM，尤其在Split Attention Agent中表现更优。
• 该方法在数分钟内成功可视化了DDDQN代理中的帧堆叠错误，使问题得以在大量训练前被立即修正。
• 引导反向传播中的负梯度形成了类似拉普拉斯核的模式，提示其通过二阶导数效应检测特征边界。
• 尽管先前研究对此存疑，本研究发现引导反向传播确实能可视化相关特征，而非仅作为边缘检测器，从而挑战了早期的质疑。
• 本研究中尚未有动作判别型显著性方法能清晰突出对所选动作影响最大的特征，表明未来需在动作特定梯度路由方面进行改进。