[论文解读] Long-Term Planning and Situational Awareness in OpenAI Five

Jonathan Raiman, Susan Zhang+1 more|arXiv (Cornell University)|Dec 13, 2019

Reinforcement Learning in Robotics参考文献 13被引用 7

一句话总结

本文研究了OpenAI Five这一无模型深度强化学习智能体如何在没有显式分层动作的情况下发展出长期规划与情境意识。通过分析嵌入相似性并解码隐藏状态以预测未来目标与奖励，作者证明该智能体可提前90秒进行规划，并展现出对游戏机制的语义理解，即使在缺乏显式宏动作监督的情况下亦然。

ABSTRACT

Understanding how knowledge about the world is represented within model-free deep reinforcement learning methods is a major challenge given the black box nature of its learning process within high-dimensional observation and action spaces. AlphaStar and OpenAI Five have shown that agents can be trained without any explicit hierarchical macro-actions to reach superhuman skill in games that require taking thousands of actions before reaching the final goal. Assessing the agent's plans and game understanding becomes challenging given the lack of hierarchy or explicit representations of macro-actions in these models, coupled with the incomprehensible nature of the internal representations. In this paper, we study the distributed representations learned by OpenAI Five to investigate how game knowledge is gradually obtained over the course of training. We also introduce a general technique for learning a model from the agent's hidden states to identify the formation of plans and subgoals. We show that the agent can learn situational similarity across actions, and find evidence of planning towards accomplishing subgoals minutes before they are executed. We perform a qualitative analysis of these predictions during the games against the DotA 2 world champions OG in April 2019.

研究动机与目标

• 理解无模型深度强化学习智能体（如OpenAI Five）如何在无显式分层动作结构的情况下发展出长期规划与情境意识。
• 探究智能体嵌入中分布式表征是否编码了游戏元素（如英雄、技能、物品）之间的语义相似性。
• 开发一种解码隐藏状态的方法，以预测未来游戏状态、目标与奖励，从而揭示智能体意图的可解释性。
• 分析通过自我对弈与稀疏信用分配训练的超人类AI智能体中规划行为的涌现过程。
• 为在复杂、语义丰富的环境中运行的大规模强化学习智能体提供可解释性工具。

提出的方法

• 分析游戏实体（如英雄、技能）学习到的嵌入之间的余弦相似度，以评估其语义结构与功能相似性。
• 在策略网络的冻结隐藏状态上训练监督解码模型，以预测未来游戏状态，包括目标位置与目标。
• 使用未来游戏里程碑（如塔被摧毁、击杀、死亡）作为隐藏状态解码的监督信号。
• 采用多头解码头，同时预测多个未来目标：移动目标、攻击目标与奖励结果。
• 将解码器应用于OpenAI Five对战OG决赛的真实游戏序列，以可视化并验证其预测行为。
• 通过可视化将预测的未来动作（如攻击、撤退）与实际游戏行为关联，从而解释进攻、防守或规避动作。

实验结果

研究问题

• RQ1 OpenAI Five的嵌入中，分布式表征是否能在无显式监督的情况下捕捉游戏实体（如英雄、技能、物品）之间的功能与语义相似性？
• RQ2 策略网络的隐藏状态是否包含关于未来游戏状态与目标的预测信息，即使提前30–90秒亦然？
• RQ3 尽管无显式宏动作，该智能体的行为是否可被解释为长期规划的证据，例如针对特定防御塔或协同攻击？
• RQ4 当敌方行为动态变化时，智能体的预测如何响应？这揭示了其何种情境意识？
• RQ5 隐藏状态解码能否提供关于智能体意图（如进攻、防守或规避策略）的可解释洞察？

主要发现

• 游戏实体嵌入之间的余弦相似度在训练过程中发生变化，表明模型学习到了英雄、技能与物品之间的语义有意义关系。
• 隐藏状态解码成功提前90秒预测出如攻击目标与移动目标等未来目标，表明存在长期规划。
• 模型以高精度预测未来击杀与死亡，且这些预测与实际行为（如逃跑或逼近敌人）密切相关。
• 在OpenAI Five对战OG决赛中，模型的预测在实际执行前55秒即正确预判了对敌方防御塔的协同攻击，且在敌方防御变化时动态更新。
• 解码器识别出智能体能实时调整计划——例如在敌方增援抵达时放弃攻击——展示了自适应的情境意识。
• 该方法可可视化团队级战略意图，例如基于集体移动与目标预测，预测对敌方基地结构的协同进攻。