[论文解读] AIVAT: A New Variance Reduction Technique for Agent Evaluation in Imperfect Information Games

Neil Burch, Martin Schmid+2 more|arXiv (Cornell University)|Dec 20, 2016

Sports Analytics and Performance被引用 9

一句话总结

AIVAT 是一种新颖的、可证明无偏的方差缩减技术，用于评估不完美信息游戏（如无注额德州扑克）中的智能体。通过结合控制变量子和基于已知策略与启发式价值估计的虚拟观测，AIVAT 同时减少了由机会事件和玩家行动引起的方差，在实际应用中将所需游戏样本数减少了 10 倍以上。

ABSTRACT

Evaluating agent performance when outcomes are stochastic and agents use randomized strategies can be challenging when there is limited data available. The variance of sampled outcomes may make the simple approach of Monte Carlo sampling inadequate. This is the case for agents playing heads-up no-limit Texas hold'em poker, where man-machine competitions have involved multiple days of consistent play and still not resulted in statistically significant conclusions even when the winner's margin is substantial. In this paper, we introduce AIVAT, a low variance, provably unbiased value assessment tool that uses an arbitrary heuristic estimate of state value, as well as the explicit strategy of a subset of the agents. Unlike existing techniques which reduce the variance from chance events, or only consider game ending actions, AIVAT reduces the variance both from choices by nature and by players with a known strategy. The resulting estimator in no-limit poker can reduce the number of hands needed to draw statistical conclusions by more than a factor of 10.

研究动机与目标

• 为解决在结果具有随机性且策略为随机化时，智能体性能评估中存在高方差的问题，尤其是在人类对机器人对战等数据有限的场景中。
• 克服以往方法仅能减少由机会事件或终局行动引起的方差，而无法减少非终局玩家行动选择方差的局限性。
• 开发一种统一的、无偏估计器，利用启发式价值函数和玩家策略知识，最小化所有决策点的方差。
• 通过远少于以往所需的游戏样本数，实现统计上显著的结论，使大规模评估（如人机对战）成为可行且高效。
• 为现实世界中高结果方差的不完美信息游戏提供一种实用且可扩展的智能体评估解决方案。

提出的方法

• AIVAT 将控制变量扩展至包含已知策略的玩家行动和机会结果，使用启发式价值函数作为基线。
• 通过虚拟观测估计未观测到的动作路径的结果，利用已知策略从单个游戏样本中计算期望值。
• 该估计器将筹码数量与基于价值函数和策略路径平均的控制变量相结合，确保无偏性。
• 该方法使用在已知策略下达到状态的概率（$\pi_p(h)$）和联合概率（$\pi_T(h)$）对不同游戏路径的贡献进行加权。
• 将 MIVAT（用于机会事件的控制变量）与虚拟观测的重要性采样整合进一个统一、连贯的框架。
• 最终估计器被证明是无偏的，并通过利用游戏结构和已知策略实现了方差缩减。

实验结果

研究问题

• RQ1 通过同时考虑机会事件和具有已知策略的玩家行动，能否显著降低智能体评估中的方差？
• RQ2 将控制变量与虚拟观测结合，是否能产生一个方差低于现有方法的可证明无偏估计器？
• RQ3 AIVAT 在多大程度上能减少在不完美信息游戏中实现统计显著结论所需的样本数？
• RQ4 当价值函数估计不准确时（如在 HUNL 扑克等现实应用中），性能会如何退化？
• RQ5 AIVAT 是否能在多种游戏场景下，优于最先进的技术（如 MIVAT 和 MIVAT+IO）实现更优的方差缩减？

主要发现

• 在一个策略相似的小型 Leduc 扑克游戏中，AIVAT 相较于原始筹码计数，将标准差降低了 75%，相比 MIVAT+IO 提升了 48% 至 75%。
• 在一个使用弱纳什近似策略的自对弈 HUNL 场景中，AIVAT 将标准差从 25.962（筹码计数）降低至 8.095，降幅达 69%。
• 在 HUNL 中评估一个弱智能体对抗强对手时，AIVAT 将标准差从 26.308 降低至 8.301，降幅达 68%，即使价值函数不准确也表现优异。
• 即使价值函数次优，AIVAT 在 HUNL 中仍实现了超过 68% 的方差缩减，显著优于 MIVAT+IO（39% 的缩减）。
• 使用 AIVAT 后，HUNL 中实现统计显著性所需的牌局数量相比标准方法减少了 10 倍以上。
• 即使价值函数不准确，该方法仍能保持可证明的无偏性，确保估计器始终真实可靠。