[论文解读] Atari-HEAD: Atari Human Eye-Tracking and Demonstration Dataset

Ruohan Zhang, Calen Walshe+7 more|arXiv (Cornell University)|Mar 15, 2019

Gaze Tracking and Assistive Technology参考文献 42被引用 14

一句话总结

本文提出 Atari-HEAD，一个从20款Atari 2600游戏收集的大规模人类眼动追踪与示范数据集。该研究提出一种眼球注视预测网络，通过将人类注意力（注视）整合到策略网络中，提升模仿学习性能，在相同基准游戏上的平均得分相比标准行为克隆提升了115.26%。

ABSTRACT

Large-scale public datasets have been shown to benefit research in multiple areas of modern artificial intelligence. For decision-making research that requires human data, high-quality datasets serve as important benchmarks to facilitate the development of new methods by providing a common reproducible standard. Many human decision-making tasks require visual attention to obtain high levels of performance. Therefore, measuring eye movements can provide a rich source of information about the strategies that humans use to solve decision-making tasks. Here, we provide a large-scale, high-quality dataset of human actions with simultaneously recorded eye movements while humans play Atari video games. The dataset consists of 117 hours of gameplay data from a diverse set of 20 games, with 8 million action demonstrations and 328 million gaze samples. We introduce a novel form of gameplay, in which the human plays in a semi-frame-by-frame manner. This leads to near-optimal game decisions and game scores that are comparable or better than known human records. We demonstrate the usefulness of the dataset through two simple applications: predicting human gaze and imitating human demonstrated actions. The quality of the data leads to promising results in both tasks. Moreover, using a learned human gaze model to inform imitation learning leads to an 115\% increase in game performance. We interpret these results as highlighting the importance of incorporating human visual attention in models of decision making and demonstrating the value of the current dataset to the research community. We hope that the scale and quality of this dataset can provide more opportunities to researchers in the areas of visual attention, imitation learning, and reinforcement learning.

研究动机与目标

• 在具有不同视觉动态和任务结构的多样化Atari 2600游戏中，收集高质量的人类注视与动作数据。
• 研究人类视觉注意力（注视）在复杂、视觉丰富的环境中的决策相关性。
• 通过将学习到的人类注视模式整合到策略网络中，提升模仿学习性能。
• 评估注意力引导的模仿学习是否在密集奖励与稀疏奖励环境中优于标准行为克隆。

提出的方法

• 使用眼动追踪硬件在游戏过程中，从人类玩家处收集20款Atari 2600游戏的注视与动作数据。
• 为每款游戏训练专用的3层卷积与3层转卷积网络，从堆叠的灰度帧中预测注视显著性图。
• 将预测的注视显著性图作为模态，集成到双分支策略网络中：一个分支处理原始图像，另一个分支处理由预测注视掩码处理的图像。
• 将两个分支的特征进行平均，生成动作概率，实现注意力感知的模仿学习（AGIL）。
• 使用玻尔兹曼探索策略，温度参数 η = 1，基于网络输出概率采样动作。
• 通过每款游戏500集的平均游戏得分进行性能评估，每集最多108K帧。

实验结果

研究问题

• RQ1 深度网络在多样化Atari 2600游戏中预测人类注视模式的准确性如何？
• RQ2 与标准行为克隆相比，整合预测的人类注视是否能显著提升模仿学习性能？
• RQ3 注意力引导的模仿学习是否能在视觉复杂度与奖励稀疏性不同的游戏中实现泛化？
• RQ4 与使用不同数据集或架构的先前工作相比，注视增强的模仿学习性能如何？

主要发现

• 注视预测网络在全部20款游戏中均表现出高精度，AUC > 0.94，NSS > 4.0，显著优于随机基线（AUC = 0.500）和基于自下而上的显著性模型。
• AGIL智能体在标准行为克隆（AtariHead-IL）基础上，平均游戏得分提升115.26%，提升幅度从+0.003%（freeway）到+112.33%（alien）不等。
• 在Montezuma’s Revenge和Ms. Pac-Man等游戏中，AGIL分别实现了88.8%和67.8%的成功率，显著优于标准IL（86.6%和55.5%）。
• 在20款游戏中，注视增强的策略在18款中表现更优，尤其在稀疏奖励游戏中提升最大，如Seaquest（+309.05%）和Frostbite（+52.05%）。
• 注视网络在所有游戏中平均AUC达到0.973，个体得分范围为0.945（Ms. Pac-Man）至0.988（Enduro）。
• 在Road Runner和Space Invaders等游戏中，AGIL智能体分别获得42,539.4分和248.2分，优于Kurin-IL与Hester-IL基线模型。