[论文解读] At Human Speed: Deep Reinforcement Learning with Action Delay

Vlad Firoiu, Tina Ju+1 more|arXiv (Cornell University)|Oct 16, 2018

Reinforcement Learning in Robotics参考文献 12被引用 28

一句话总结

本文提出一种神经预测模型，使深度强化学习智能体能够克服动作延迟，模拟人类反应时间。通过预测动作延迟执行时的环境状态，智能体在《Super Smash Bros. Melee》中表现出色，对战人类职业选手表现优异，优于非预测性模型，且接近顶尖选手水平。

ABSTRACT

There has been a recent explosion in the capabilities of game-playing artificial intelligence. Many classes of tasks, from video games to motor control to board games, are now solvable by fairly generic algorithms, based on deep learning and reinforcement learning, that learn to play from experience with minimal prior knowledge. However, these machines often do not win through intelligence alone -- they possess vastly superior speed and precision, allowing them to act in ways a human never could. To level the playing field, we restrict the machine's reaction time to a human level, and find that standard deep reinforcement learning methods quickly drop in performance. We propose a solution to the action delay problem inspired by human perception -- to endow agents with a neural predictive model of the environment which "undoes" the delay inherent in their environment -- and demonstrate its efficacy against professional players in Super Smash Bros. Melee, a popular console fighting game.

研究动机与目标

• 研究标准深度强化学习智能体在高速游戏（如《Super Smash Bros. Melee》）中面临人类水平动作延迟时的性能下降问题。
• 通过在动作执行前建模未来状态，解决强化学习中的动作延迟挑战。
• 使具备类人反应时间的智能体能够有效对抗高水平人类玩家。
• 探究预测建模是否能恢复复杂实时环境中因动作延迟导致的性能损失。

提出的方法

• 智能体配备一个神经预测模型，用于预测其当前动作在延迟执行时的环境状态，以考虑固定的动作延迟。
• 预测模型通过状态转移的监督损失进行端到端训练，学习基于当前观测和动作历史来预测延迟后的状态。
• 预测架构与IMPALA强化学习框架集成，实现在保持实时推理的同时进行策略学习。
• 模型采用循环或序列结构以保持时间上下文，并在多个延迟步长上预测未来状态。
• 该方法通过学习延迟动力学的紧凑可微模型，避免了朴素状态增强带来的状态空间爆炸问题。
• 该方法在《Super Smash Bros. Melee》和Atari 2600游戏中进行评估，并与非预测性智能体及人类职业选手进行性能对比。

实验结果

研究问题

• RQ1 在《Super Smash Bros. Melee》等高速游戏中，动作延迟如何影响标准深度强化学习智能体的性能？
• RQ2 神经预测模型是否能有效补偿强化学习中的动作延迟，而不会导致状态空间爆炸？
• RQ3 在受限于人类水平反应时间的条件下，预测模型是否能使智能体实现与人类职业选手竞争的性能？
• RQ4 在延迟条件下，预测模型与非预测基线在胜率和学习稳定性方面相比如何？

主要发现

• 非预测性深度强化学习智能体在动作延迟下性能急剧下降，尤其当延迟超过4步时更为显著。
• 采用(7, 7, 2)超参数的预测智能体在延迟7步时，对阵国际排名前41的选手Professor Pro，取得5胜2负的战绩。
• 采用(6, 6, 2)超参数的预测智能体在延迟6步时，5局比赛中赢下3局，展现出强大的竞技能力。
• 预测模型显著优于非预测基线，例如(6, 0, 2)智能体在相同对手面前6局全败。
• 性能提升在多个环境中保持一致，包括《Super Smash Bros. Melee》和Atari 2600游戏，证实了该方法的泛化能力。
• 预测模型使智能体在延迟高达7步时仍能维持竞技水平，且推理速度足以支持实时游戏。