[论文解读] Machine versus Human Attention in Deep Reinforcement Learning Tasks

Sihang Guo, Ruohan Zhang+5 more|arXiv (Cornell University)|Oct 29, 2020

Neural dynamics and brain function被引用 8

一句话总结

本文通过分析深度强化学习（DRL）智能体的显著性图与人类专家的眼动追踪数据，比较了DRL智能体与人类专家在玩Atari游戏时的视觉注意力。研究发现，DRL智能体在最优超参数设置下学习到的注意力模式与人类相似，且注意力错位可解释性能差距，为提升智能体可解释性及视觉运动任务中的人机对齐提供了洞见。

ABSTRACT

Deep reinforcement learning (RL) algorithms are powerful tools for solving visuomotor decision tasks. However, the trained models are often difficult to interpret, because they are represented as end-to-end deep neural networks. In this paper, we shed light on the inner workings of such trained models by analyzing the pixels that they attend to during task execution, and comparing them with the pixels attended to by humans executing the same tasks. To this end, we investigate the following two questions that, to the best of our knowledge, have not been previously studied. 1) How similar are the visual representations learned by RL agents and humans when performing the same task? and, 2) How do similarities and differences in these learned representations explain RL agents' performance on these tasks? Specifically, we compare the saliency maps of RL agents against visual attention models of human experts when learning to play Atari games. Further, we analyze how hyperparameters of the deep RL algorithm affect the learned representations and saliency maps of the trained agents. The insights provided have the potential to inform novel algorithms for closing the performance gap between human experts and RL agents.

研究动机与目标

• 研究DRL智能体与人类在执行相同视觉运动任务时，所学习到的视觉表征有多相似。
• 理解学习到的注意力差异如何影响DRL智能体在Atari游戏中的性能。
• 使用人类专家的注视数据作为基准，评估并改进DRL智能体决策的可解释性。
• 分析DRL超参数（尤其是折扣因子和网络架构）对注意力图与人类专家相似性的影响。
• 提供视觉与定量诊断方法，用于分析智能体注意力与人类注意力显著偏离的失败案例，从而实现针对性的算法改进。

提出的方法

• 在Atari游戏过程中使用眼动仪收集人类视觉注意力数据，构建人类注意力基准。
• 使用基于梯度的方法（如Grad-CAM）为DRL智能体生成显著性图，以可视化智能体在决策过程中关注的图像像素。
• 使用空间相关性度量（如皮尔逊积矩相关系数、AUC-PR）对齐并比较DRL智能体的显著性图与人类注视分布。
• 使用双值DQN和Rainbow DQN架构，在多个Atari游戏中训练DRL智能体，超参数包括折扣因子和探索策略。
• 通过消融实验评估超参数对注意力图相似性与任务性能的影响。
• 对未见过或具有挑战性的游戏状态进行失败分析，当智能体注意力与人类注意力显著偏离时，识别潜在的次优决策原因。

实验结果

研究问题

• RQ1 在Atari游戏过程中，DRL智能体与人类专家关注的视觉特征在多大程度上相似？
• RQ2 智能体与人类之间注意力图的差异在多大程度上能解释视觉运动任务中的性能差距？
• RQ3 DRL超参数（尤其是折扣因子）如何影响智能体与人类注意力模式的相似性？
• RQ4 在哪些游戏状态或场景中，DRL智能体会表现出与人类专家显著不同的注意力模式？这些偏差揭示了智能体的哪些失败原因？
• RQ5 人类注意力能否作为可靠的监督信号，引导DRL智能体学习更类人且更鲁棒的视觉表征？

主要发现

• 使用最优超参数训练的DRL智能体所学习到的注意力图与人类视觉注意力显著相关，尤其在需要目标跟踪与空间推理的任务中表现更明显。
• 智能体与人类注意力的相关性随训练时间增加，在约5120k训练步长时达到峰值，表明其注意力逐步与人类感知对齐。
• 具有更高折扣因子的智能体往往发展出与人类专家更相似的注意力图，表明更长的规划时域可提升感知对齐效果。
• 人类专家关注的区域更少、更任务相关，而DRL智能体通常关注更广或不相关的图像区域，表明当前智能体存在潜在的过度关注问题。
• 当智能体注意力与人类注意力显著偏离时，失败案例多出现在复杂或罕见的游戏状态中，表明智能体在处理长程依赖或模糊视觉线索方面存在困难。
• 本研究证明，人类注视数据可作为评估和提升DRL智能体可解释性与鲁棒性的有力参考，尤其在分布外或罕见场景中。