[论文解读] DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games

Alessandro Sestini, Alexander Kuhnle+1 more|arXiv (Cornell University)|Dec 3, 2020

Reinforcement Learning in Robotics参考文献 14被引用 5

一句话总结

本文提出 DeepCrawl，一个回合制地牢探险类游戏原型，其中非玩家角色（NPC）由通过近端策略优化（PPO）训练的深度强化学习（DRL）策略网络控制。该系统成功生成了可信、可击败且多样的 NPC 行为，而无需手动编码策略，证明了 DRL 可作为实用的游戏设计工具，用于在移动端和桌面端游戏中创建引人入胜、非超人水平的 AI 对手。

ABSTRACT

In this paper we introduce DeepCrawl, a fully-playable Roguelike prototype for iOS and Android in which all agents are controlled by policy networks trained using Deep Reinforcement Learning (DRL). Our aim is to understand whether recent advances in DRL can be used to develop convincing behavioral models for non-player characters in videogames. We begin with an analysis of requirements that such an AI system should satisfy in order to be practically applicable in video game development, and identify the elements of the DRL model used in the DeepCrawl prototype. The successes and limitations of DeepCrawl are documented through a series of playability tests performed on the final game. We believe that the techniques we propose offer insight into innovative new avenues for the development of behaviors for non-player characters in video games, as they offer the potential to overcome critical issues with

研究动机与目标

• 探究深度强化学习（DRL）是否可作为实用的游戏设计工具，用于在电子游戏中创建引人入胜、非超人水平的 NPC 行为。
• 开发一种轻量级、可部署的 DRL 框架，通过参数调优支持多种 NPC 类型，适用于 iOS 和 Android 等移动平台。
• 平衡 NPC 难度，使智能体具有挑战性但可被击败，确保游戏体验愉快且可信。
• 评估 DRL 是否能在无需手动编码 AI 规则或先验行为规范的情况下，生成多样化、基于策略的行为。

提出的方法

• 游戏采用回合制地牢探险环境，包含程序化生成的地城关卡，玩家在每关中对抗多个敌对智能体。
• NPC 智能体由通过近端策略优化（PPO）训练的策略网络控制，PPO 是一种演员-评论家深度强化学习算法。
• 策略网络与价值网络共享相同的卷积神经网络架构，输入特征包括智能体属性、环境状态和动作空间。
• 采用课程学习策略，逐步增加任务复杂度，以加速训练并提升最终性能。
• 使用稀疏奖励：胜利 +10，死亡 -10，达到步数限制则为 0，未使用密集奖励塑造或手动设计的奖励函数。
• 超参数包括策略学习率 $10^{-6}$，基线学习率 $10^{-4}$，折扣因子 $\gamma = 0.99$，探索率 $\epsilon = 0.2$。

实验结果

研究问题

• RQ1 深度强化学习是否可用于训练既可信又可被击败的 NPC，避免出现超人或过于简单的 AI 问题？
• RQ2 单一 DRL 框架在仅通过参数调整的情况下，能在多大程度上生成不同 NPC 类型的多样化、基于策略的行为？
• RQ3 课程学习在稀疏奖励、回合制游戏环境中是否显著提升训练效率和最终策略质量？
• RQ4 DRL 是否能在无先验知识或手动编码规则的情况下，仅依靠稀疏奖励生成有效的 NPC 行为？

主要发现

• 在训练中使用课程学习显著加速了收敛并提升了最终性能，与无课程学习的训练相比，智能体获得了更高的平均奖励。
• 在可玩性测试中，玩家认为 NPC 智能体表现出智能且策略连贯，其行为因职业类型（如战士、弓箭手、游侠）而异，表明成功实现了行为多样性。
• 尽管奖励稀疏，DRL 智能体仍学会了有效的策略，且未提供任何先验行为规范，证明了模型自主发现复杂战术的能力。
• 所有 10 名测试者均认为游戏有趣且可通关，前提是投入注意力和时间，证实智能体具有挑战性但非超人水平，支持了平衡游戏性的目标。
• 测试者评价智能体行为与其它地牢类游戏中表现相当或更优，因敌人战术多变而认为游戏重玩价值高。
• DRL 框架在移动平台上具备可部署性，轻量级网络架构使移动设备上的高效推理成为可能。