[论文解读] Beyond Winning and Losing: Modeling Human Motivations and Behaviors Using Inverse Reinforcement Learning

Baoxiang Wang, Tongfang Sun+1 more|arXiv (Cornell University)|Jul 1, 2018

Digital Games and Media参考文献 19被引用 6

一句话总结

本文提出多动机行为建模（MMBM），一种逆强化学习框架，可从游戏行为轨迹中推断多维人类动机，且无需环境动力学或反事实动作信息。该方法应用于《巫妖王之怒》资料片的《魔兽世界》角色历史数据集，准确恢复了玩家的价值结构，预测行为表现优于以往方法，并量化了游戏更新如何影响如‘进步’与‘竞争’等动机。

ABSTRACT

In recent years, reinforcement learning (RL) methods have been applied to model gameplay with great success, achieving super-human performance in various environments, such as Atari, Go, and Poker. However, those studies mostly focus on winning the game and have largely ignored the rich and complex human motivations, which are essential for understanding different players' diverse behaviors. In this paper, we present a novel method called Multi-Motivation Behavior Modeling (MMBM) that takes the multifaceted human motivations into consideration and models the underlying value structure of the players using inverse RL. Our approach does not require the access to the dynamic of the system, making it feasible to model complex interactive environments such as massively multiplayer online games. MMBM is tested on the World of Warcraft Avatar History dataset, which recorded over 70,000 users' gameplay spanning three years period. Our model reveals the significant difference of value structures among different player groups. Using the results of motivation modeling, we also predict and explain their diverse gameplay behaviors and provide a quantitative assessment of how the redesign of the game environment impacts players' behaviors.

研究动机与目标

• 建模超越‘获胜’的多种人类动机，整合成就、社交与沉浸感等游戏动机的心理学理论。
• 开发一种逆强化学习方法，仅从观测轨迹推断多维奖励函数，无需访问环境动力学或人类策略。
• 利用历史游戏数据，量化游戏设计变更（如补丁更新）对玩家动机与行为的影响。
• 提供一种数据驱动、可解释的玩家价值结构模型，以解释不同玩家群体之间的行为多样性。

提出的方法

• MMBM 基于心理学动机分类法（将十种动机类型归类为成就、社交与沉浸三大类），将完整奖励信号分解为独立分量。
• 每个奖励分量通过深度Q网络（DQN）结合离策略Q学习独立估计，实现可扩展且高效的训练。
• 该方法将逆强化学习问题建模为线性规划，以恢复最能解释观测轨迹的价值结构（即奖励分量的权重）。
• 假设观测到的行为是相对于推断出的多奖励函数的最优行为，从而实现无需反事实动作或模拟器访问的推理。
• 模型仅使用历史数据中的观测状态-动作对，因此适用于《魔兽世界》等现实世界复杂游戏。
• 通过求解最大化观测轨迹在推断多奖励函数下似然性的线性规划，学习价值结构。

实验结果

研究问题

• RQ1 如何在单目标强化学习范式之外，建模游戏中的多维人类动机？
• RQ2 在无环境动力学或策略函数访问的前提下，逆强化学习在多维复杂奖励函数的推断上能达到何种程度？
• RQ3 不同玩家群体的价值结构有何差异？它们如何随游戏更新而演变？
• RQ4 如何定量评估游戏设计变更对玩家动机与行为的影响？

主要发现

• MMBM 在《魔兽世界》角色历史数据集上对玩家行为的预测准确率达到 56.5%，优于大间隔Q学习（47.2%）与策略模仿（31.0%）。
• 该模型成功恢复了不同玩家群体之间的独特价值结构，揭示了玩家在‘进步’、‘竞争’与‘团队合作’等动机上的优先级差异。
• 在 2008 年 11 月《巫妖王之怒》资料片发布前后，‘进步’与‘竞争’动机显著上升，与等级上限提升至 80 级及新职业的引入相吻合。
• 模型显示动机之间存在相互依赖性：‘进步’动机的提升伴随着‘团队合作’动机的下降，表明玩家时间分配存在权衡关系。
• 价值结构随时间演变，早期游戏阶段‘关系’与‘团队合作’动机上升，反映出玩家参与度与社交融合度的提升。
• 通过分析动机权重的时间变化，模型量化了游戏更新的影响，展示了其在游戏设计评估中的实用性。