[论文解读] Combining Prediction of Human Decisions with ISMCTS in Imperfect Information Games

Moshe Bitan, Sarit Kraus|arXiv (Cornell University)|Sep 27, 2017

Artificial Intelligence in Games参考文献 31被引用 5

一句话总结

本文提出了一种新型MCTS变体——半确定化MCTS（SDMCTS），该方法将对人类对手不可观测行动的预测建模与信息集MCTS相结合，以提升不完美信息游戏中的表现。通过仅对对手的隐藏行动进行确定化处理，同时保留其他隐藏状态的不确定性，SDMCTS减少了策略融合现象，并借助行为预测实现了在Cheat游戏中对阵120名人类玩家时88.97%的胜率，且随着预测准确率的提高，性能持续提升。

ABSTRACT

Monte Carlo Tree Search (MCTS) has been extended to many imperfect information games. However, due to the added complexity that uncertainty introduces, these adaptations have not reached the same level of practical success as their perfect information counterparts. In this paper we consider the development of agents that perform well against humans in imperfect information games with partially observable actions. We introduce the Semi-Determinized-MCTS (SDMCTS), a variant of the Information Set MCTS algorithm (ISMCTS). More specifically, SDMCTS generates a predictive model of the unobservable portion of the opponent's actions from historical behavioral data. Next, SDMCTS performs simulations on an instance of the game where the unobservable portion of the opponent's actions are determined. Thereby, it facilitates the use of the predictive model in order to decrease uncertainty. We present an implementation of the SDMCTS applied to the Cheat Game, a well-known card game, with partially observable (and often deceptive) actions. Results from experiments with 120 subjects playing a head-to-head Cheat Game against our SDMCTS agents suggest that SDMCTS performs well against humans, and its performance improves as the predictive model's accuracy increases.

研究动机与目标

• 开发在具有部分可观测行动的不完美信息游戏中对人类玩家表现优异的智能体。
• 解决ISMCTS在处理因对手不可观测行动导致的不确定性时的局限性。
• 通过将人类行为预测模型整合进MCTS，减少策略融合并改善决策能力。
• 在真实世界环境中通过人类参与者在Cheat游戏中评估该方法。

提出的方法

• SDMCTS是信息集MCTS的一种变体，其在对手不可观测行动被预测的确定化版本游戏中进行模拟。
• 它使用基于行为的预测模型，该模型基于历史人类游戏数据训练，以估计特定行动的可能性。
• 预测模型在MCTS模拟过程中被集成，使智能体能够在保持信息集完整性的同时，推断可能的对手行为。
• 该算法使用Smooth-UCT作为选择策略，以在信息集树中平衡探索与利用。
• 该方法保留隐藏信息（如对手的手牌），同时仅对对手行动部分进行确定化处理，以减少不确定性。
• 通过仅将确定化限制在可观测行动预测上，SDMCTS结合了确定化的优势（更高质量的模拟）与ISMCTS的优势（对策略融合的鲁棒性）。

实验结果

研究问题

• RQ1 对人类行动的预测建模是否能提升在具有部分可观测行动的不完美信息游戏中MCTS的性能？
• RQ2 将预测与ISMCTS结合，与标准ISMCTS相比，是否能提升智能体对人类对手的表现？
• RQ3 提高预测模型的准确率是否能带来可测量的智能体胜率提升和游戏效率改进？
• RQ4 当面对使用预测模型的智能体时，人类玩家是否会调整其行为？
• RQ5 SDMCTS框架能否有效应用于Cheat等真实世界的不完美信息游戏？

主要发现

• SDMCTS智能体在与120名人类玩家进行的一对一Cheat对局中取得了88.97%的胜率，展现出对人类对手的强劲表现。
• 该预测模型在Cheat游戏中对人类战略决策的预测AUC达到0.821，表明其具有较高准确率。
• 随着预测模型准确率的提高，智能体表现持续改善，表现为胜率更高以及与对手平均手牌数差异更小。
• 与非预测型智能体相比，预测型智能体显著减少了每局游戏的轮数，表明其更快收敛至终局状态。
• 当面对预测型智能体时，人类玩家的欺骗频率降低至40.4%–42.4%，低于面对非预测型智能体时的44.8%，表明存在行为适应现象。
• 尽管FPMGA智能体具有更高的预测准确率，但其对局耗时更长，原因在于更频繁地使用“举报作弊”动作，表明预测准确率与游戏速度之间存在权衡。