[论文解读] Learn to Interpret Atari Agents

Zhao Yang, Song Bai+2 more|arXiv (Cornell University)|Dec 29, 2018

Reinforcement Learning in Robotics参考文献 34被引用 15

一句话总结

本文提出了一种端到端可微分的深度Q网络智能体——区域敏感彩虹网络（RS-Rainbow），其集成了可学习的注意力模块，可在推理过程中识别并可视化Atari游戏画面中的显著区域。通过将梯度从注意力模块反向传播至输入，RS-Rainbow 实现了实时、人类可解释的决策可视化，同时在Atari 2600基准测试中性能优于标准Rainbow模型。

ABSTRACT

Deep reinforcement learning (DeepRL) agents surpass human-level performance in many tasks. However, the direct mapping from states to actions makes it hard to interpret the rationale behind the decision-making of the agents. In contrast to previous a-posteriori methods for visualizing DeepRL policies, in this work, we propose to equip the DeepRL model with an innate visualization ability. Our proposed agent, named region-sensitive Rainbow (RS-Rainbow), is an end-to-end trainable network based on the original Rainbow, a powerful deep Q-network agent. It learns important regions in the input domain via an attention module. At inference time, after each forward pass, we can visualize regions that are most important to decision-making by backpropagating gradients from the attention module to the input frames. The incorporation of our proposed module not only improves model interpretability, but leads to performance improvement. Extensive experiments on games from the Atari 2600 suite demonstrate the effectiveness of RS-Rainbow.

研究动机与目标

• 为解决深度强化学习（DRL）智能体普遍缺乏内在可解释性的问题，这些智能体通常为黑箱系统。
• 克服事后分析方法的局限性，后者通常需要人工干预或多次前向传播。
• 开发一种基于学习的可解释性框架，实现在单一端到端训练过程中同时提升可解释性与性能。
• 实现实时、基于梯度的决策相关区域可视化，无需外部监督，适用于Atari游戏。
• 探究可解释性模块是否能提升DRL智能体的泛化能力与性能。

提出的方法

• 将区域敏感模块作为插件引入Rainbow DQN架构，用于预测输入帧上的注意力模式。
• 注意力模块为空间区域分配重要性得分，建模屏幕不同部分对动作决策的影响。
• 在推理阶段，从每个注意力模式中最重要的区域反向传播梯度至输入帧，生成显著图。
• 注意力模块与主DQN头一起通过标准强化学习目标进行端到端训练。
• 该方法利用基于梯度的显著性，生成反映智能体实际决策注意力的可视化解释。
• 该架构设计具有通用性，可适用于其他基于CNN的DRL模型。

实验结果

研究问题

• RQ1 是否可以训练深度强化学习智能体，使其在无需事后分析的情况下，内在地突出决策相关的视觉区域？
• RQ2 在DRL智能体中集成基于注意力的可解释性模块，是否能同时提升可解释性与性能？
• RQ3 从注意力模块导出的基于梯度的显著图，能否揭示Atari智能体中的有意义策略与功能对象意识？
• RQ4 RS-Rainbow在Atari 2600套件上的性能与标准Rainbow及其他最先进智能体相比如何？
• RQ5 RS-Rainbow的可视化结果在多大程度上能为智能体的失败或误判提供洞察？

主要发现

• RS-Rainbow在多个Atari 2600游戏中实现了最先进性能，优于原始Rainbow智能体。
• 注意力模块实现了实时、基于梯度的显著图，能够突出显示游戏画面中的功能对象，如敌人、道具和障碍物。
• 可视化结果表明，智能体学会了聚焦于相关游戏元素，如玩家位置、敌方飞船和弹幕，其行为与人类策略一致。
• 该方法成功识别出对决策至关重要的区域，包括智能体未能检测到关键对象的情况，从而提供诊断性洞察。
• 区域敏感模块提升了样本效率与泛化能力，表明在该框架中可解释性与性能具有协同效应。
• 该方法具有可扩展性，可应用于其他基于DQN的模型，并可能拓展至策略梯度方法及多智能体环境。