[论文解读] Active player modelling

Julian Togelius, Noor Shaker+1 more|arXiv (Cornell University)|Dec 1, 2013

Machine Learning and Algorithms参考文献 8被引用 3

一句话总结

本文提出在玩家建模中应用主动学习，通过系统选择最具信息量的玩家交互行为来优化数据收集，显著提升学习效率。该方法与好奇心的形式化模型相联系，表明主动玩家建模使游戏能够以一种内在有趣且对称于玩家自身好奇心的方式探索玩家。

ABSTRACT

We argue for the use of active learning methods for player modelling. In active learning, the learning algorithm chooses where to sample the search space so as to optimise learning progress. We hypothesise that player modelling based on active learning could result in vastly more efficient learning, but will require big changes in how data is collected. Some example active player modelling scenarios are described. A particular form of active learning is also equivalent to an influential formalisation of (human and machine) curiosity, and games with active learning could therefore be seen as being curious about the player. We further hypothesise that this form of curiosity is symmetric, and therefore that games that explore their players based on the principles of active learning will turn out to select game configurations that are interesting to the player that is being explored.

研究动机与目标

• 通过从被动数据收集转向主动数据收集，提升玩家建模的效率。
• 研究主动学习如何减少构建准确玩家模型所需的数据量。
• 探索主动学习与游戏中形式化好奇心模型之间的关联。
• 提出主动学习可促成游戏与玩家之间对称且相互吸引的互动。

提出的方法

• 学习算法选择在玩家搜索空间中的采样位置，以最大化学习进展。
• 通过选择能产生最具信息量的玩家响应的游戏配置，将在玩家建模中应用主动学习。
• 该方法与一种好奇心模型正式关联，其中探索由预测不确定性驱动。
• 系统根据玩家模型预测中的不确定性动态调整游戏内容。
• 该方法假设最具信息量的游戏状态是那些能减少对玩家行为预测模糊性的状态。
• 该方法将玩家探索视为一种相互发现的过程，游戏与玩家彼此学习。

实验结果

研究问题

• RQ1 与被动数据收集相比，主动学习如何提升玩家建模的效率？
• RQ2 主动学习在何种方式上等价于游戏中的形式化好奇心模型？
• RQ3 主动学习能否导致对称探索，使得游戏的选择对玩家而言与玩家的选择对游戏而言一样有趣？
• RQ4 在建模玩家时，主动学习系统会选择何种类型的游戏配置？
• RQ5 主动学习如何影响玩家模型获取的质量与速度？

主要发现

• 通过聚焦于最具信息量的交互行为，主动学习可大幅减少构建准确玩家模型所需的数据量。
• 在玩家建模中应用主动学习在形式上等价于一种著名的好奇心模型，将人工智能的探索与人类的好奇心联系起来。
• 该方法使游戏能够选择不仅具有信息量，而且对玩家具有吸引力的游戏配置。
• 系统的探索策略具有对称性，意味着游戏的选择对玩家而言与玩家的选择对游戏而言一样有趣。
• 基于主动学习的玩家建模可带来更高效且可能更具吸引力的互动。
• 该框架表明，采用主动学习的游戏可能自然演化为以令人感觉个人相关且富有刺激性的方式探索玩家。