[论文解读] A Bayesian Model for Plan Recognition in RTS Games applied to StarCraft

Gabriel Synnaeve, Pierre Bessìère|arXiv (Cornell University)|Nov 16, 2011

Artificial Intelligence in Games参考文献 21被引用 24

一句话总结

本文提出了一种用于《星际争霸》中计划识别的贝叶斯模型，该模型利用游戏回放数据，通过无监督学习从嘈杂且不完整的观测中预测对手的建筑树。该模型在高精度下表现优异——可提前预测多达4座建筑，距离小于1；在30%噪声下仍保持鲁棒性，从而实现即时战略游戏中的自适应AI。

ABSTRACT

The task of keyhole (unobtrusive) plan recognition is central to adaptive game AI. "Tech trees" or "build trees" are the core of real-time strategy (RTS) game strategic (long term) planning. This paper presents a generic and simple Bayesian model for RTS build tree prediction from noisy observations, which parameters are learned from replays (game logs). This unsupervised machine learning approach involves minimal work for the game developers as it leverage players' data (com- mon in RTS). We applied it to StarCraft1 and showed that it yields high quality and robust predictions, that can feed an adaptive AI.

研究动机与目标

• 开发一种鲁棒的无监督方法，仅使用回放数据预测即时战略游戏中对手的策略。
• 实现可动态调整自身建筑顺序以响应观测到的对手行为的自适应AI。
• 处理在迷雾战中典型的部分观测与噪声观测。
• 减少对硬编码策略或游戏开发者手动调优的依赖。
• 通过概率推理支持竞技AI对战与智能解说系统。

提出的方法

• 该模型使用贝叶斯编程表示建筑树的联合分布，整合先验知识与从回放中学习到的参数。
• 应用条件概率：P(建筑树 | 观测, 时间, λ=1)，实现在不确定条件下的实时推理。
• 参数通过无监督机器学习从回放日志中学习，无需策略标注的标签。
• 模型同时计算最可能（MAP）与边缘化（均值）的建筑树估计，以提高鲁棒性。
• 利用科技树作为有向无环图的结构，编码建筑与科技之间的依赖关系。
• 该框架可扩展以包含单位与升级系统，并可用于双人建模，以推断最优反制策略。

实验结果

研究问题

• RQ1 贝叶斯模型能否从不完整且嘈杂的观测中准确预测《星际争霸》中对手的建筑树？
• RQ2 当观测中存在随机噪声（如缺失或错误的侦察数据）时，该模型的鲁棒性如何？
• RQ3 该模型在多大程度上能以高精度预测未来的建筑步骤（例如提前3–4步）？
• RQ4 该模型能否在实际对战中实时动态调整AI策略？
• RQ5 与现有方法相比，该模型在计算效率与准确性方面表现如何？

主要发现

• 该模型可提前预测多达4座建筑，建筑树距离小于1，表明策略识别具有高精度。
• 在30%随机噪声下，模型仍能保持对3座建筑的预测能力，且距离小于1，表现出强鲁棒性。
• 即使80%的观测缺失，模型仍保持高精度，显示出对不完整侦察数据的强适应能力。
• 该模型计算与内存开销低，适合在竞技AI环境中实时部署。
• 该方法通过持续基于观测动作更新信念，使AI机器人能够实现动态策略调整。
• 该模型可扩展至双人推断，使AI能够根据对手策略选择最优建筑顺序。