[论文解读] Investigating Human Priors for Playing Video Games

Rachit Dubey, Pulkit Agrawal+3 more|arXiv (Cornell University)|Feb 28, 2018

Artificial Intelligence in Games参考文献 26被引用 95

一句话总结

本文量化了各种人类先验（语义、对象性、可供性、相似性、重力）在解答一个设计好的电子游戏中的作用，结果显示去除这些先验会显著降低表现（从约2分钟降至>20分钟），而强化学习的表现受影响较小。

ABSTRACT

What makes humans so good at solving seemingly complex video games? Unlike computers, humans bring in a great deal of prior knowledge about the world, enabling efficient decision making. This paper investigates the role of human priors for solving video games. Given a sample game, we conduct a series of ablation studies to quantify the importance of various priors on human performance. We do this by modifying the video game environment to systematically mask different types of visual information that could be used by humans as priors. We find that removal of some prior knowledge causes a drastic degradation in the speed with which human players solve the game, e.g. from 2 minutes to over 20 minutes. Furthermore, our results indicate that general priors, such as the importance of objects and visual consistency, are critical for efficient game-play. Videos and the game manipulations are available at https://rach0012.github.io/humanRL_website/

研究动机与目标

• 衡量不同类型的人类先验如何影响在一个设计好的浏览器游戏中的速度和成功率。
• 系统地消融视觉信息以掩蔽语义、对象性、可供性和相似性。
• 在稀疏奖励环境中将人类表现与基于好奇心的RL进行比较，以突出先验的作用。

提出的方法

• 设计一个带有可控元素（钥匙、门、梯子、敌人、尖刺）的浏览器平台游戏。
• 通过重新渲染纹理和改变物理交互来创建多个游戏版本，以掩蔽特定先验。
• 招募120名MTurk参与者让他们玩每个版本，并记录位置信息、时间和死亡次数。
• 进行针对语义、将对象作为子目标、可供性和视觉相似性的消融，以衡量性能变化。
• 引入重力和控制方式的变化，以研究物理和运动先验的影响。
• 在操控版本下，将人类结果与在稀疏奖励下的好奇心驱动RL代理进行比较。

实验结果

研究问题

• RQ1 在视频游戏中，对象语义、对象存在、可供性和视觉相似性的相对重要性有多大？
• RQ2 掩蔽每个先验如何影响人类的探索、效率和成功时间？
• RQ3 在稀疏奖励环境中，当先验被掩蔽时，人类与RL代理的对比如何？
• RQ4 交互设计（如何与对象互动）是否超越知觉先验而调制表现？
• RQ5 能否用对象先验的分类学预测哪些先验对高效游玩最为关键？

主要发现

• 与原游戏相比，移除语义使平均完成时间和死亡数翻倍，探索状态增多。
• 掩蔽对象先验会极大地恶化表现，表明对象作为探索的子目标发挥作用。
• 移除可供性或掩蔽视觉相似性会导致显著的性能下降，其中相似性在对象先验之后是第二个最具影响力的先验。
• 当所有对象先验都被掩蔽时，人类的表现接近随机，约用20分钟解决，约40次死亡，显示出对先验在高效探索中的依赖。
• RL代理对语义、对象性或可供性敏感性较低，但受视觉相似性影响，表明先验对人类效率至关重要，但并非所有RL算法都严格需要。