[论文解读] Beating the World's Best at Super Smash Bros. with Deep Reinforcement Learning

Vlad Firoiu, Whitney, William F.+1 more|arXiv (Cornell University)|Feb 21, 2017

Reinforcement Learning in Robotics参考文献 1被引用 30

一句话总结

该论文提出了一种深度强化学习智能体，在《Super Smash Bros. Melee》这一复杂、部分可观测、多人对战格斗游戏中超越了顶尖人类玩家。通过结合使用具有记忆状态表示和延迟动作处理的双-stream DQN与PPO算法，该智能体在面对非平稳对手和逐帧反应速度要求极高的挑战下，仍实现了超人类水平的表现。

ABSTRACT

There has been a recent explosion in the capabilities of game-playing artificial intelligence. Many classes of RL tasks, from Atari games to motor control to board games, are now solvable by fairly generic algorithms, based on deep learning, that learn to play from experience with minimal knowledge of the specific domain of interest. In this work, we will investigate the performance of these methods on Super Smash Bros. Melee (SSBM), a popular console fighting game. The SSBM environment has complex dynamics and partial observability, making it challenging for human and machine alike. The multi-player aspect poses an additional challenge, as the vast majority of recent advances in RL have focused on single-agent environments. Nonetheless, we will show that it is possible to train agents that are competitive against and even surpass human professionals, a new result for the multi-player video game setting.

研究动机与目标

• 将深度强化学习扩展至《Super Smash Bros. Melee》这类复杂、多人、部分可观测的电子游戏。
• 应对对手也在学习、环境动态变化的非平稳性挑战。
• 开发出能在高技能、实时对战格斗游戏中超越精英人类玩家的智能体。
• 探究在人类式动作延迟和有限感知条件下训练智能体的可行性。
• 评估内在探索与奖励塑形在稀疏奖励环境中的有效性。

提出的方法

• 智能体使用从游戏内存中提取的状态表示（位置、速度、动作状态），而非原始像素，从而实现精确的状态观测。
• 以双-stream深度Q网络（DQN）和近端策略优化（PPO）作为核心强化学习算法，结合经验回放与目标网络以提升训练稳定性。
• 通过输入最后k+1帧及其对应动作来建模动作延迟，使智能体能够处理2至4帧的延迟。
• 奖励函数结合了+1/-1的击倒奖励与加权伤害差值（造成的伤害减去承受的伤害），从而提升稀疏奖励环境下的学习效率。
• 探索通过PPO中的熵正则化与DQN中的温度缩放实现，熵值用作策略多样性的代理指标。
• 每几秒终止一次回合以模拟比赛条件，训练则采用无限时间模式。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在《Super Smash Bros. Melee》这类复杂、多人、部分可观测的格斗游戏中实现超人类水平表现？
• RQ2 当对手也在学习且环境非平稳时，标准深度强化学习算法的表现如何？
• RQ3 内在探索与奖励塑形在终端奖励极度稀疏的环境中，能在多大程度上提升学习效率？
• RQ4 动作延迟（如2帧与10帧）对智能体性能与学习稳定性有何影响？
• RQ5 非循环、前馈网络是否能有效模拟人类在实时对战中的反应时间与预判能力？

主要发现

• 该智能体实现了超人类水平表现，在正式比赛中击败了十位高排名人类玩家。
• 双-stream DQN与PPO智能体均优于固定对手，如游戏内AI和基准网络。
• 当动作延迟超过6至10帧时，性能急剧下降，表明存在有效学习的临界延迟阈值。
• 尽管平均策略熵较高，智能体仍常重复执行相同动作，表明熵本身作为探索多样性的代理指标效果不佳。
• 引入基于伤害的奖励塑形显著提升了学习效率，相比仅依赖击倒奖励的设置效果更优。
• 循环网络因优化困难未能成功训练，凸显在高维、实时环境中建模记忆的挑战。