[论文解读] Artificial intelligence for Bidding Hex

Sam Payne, Elina Robeva|arXiv (Cornell University)|Dec 18, 2008

Artificial Intelligence in Games参考文献 9被引用 4

一句话总结

本文提出了一种蒙特卡洛算法，利用随机落子六角棋定理来寻找博弈六角棋中的近似最优步法与出价。通过模拟棋盘的随机填充，并估计每个空格成为输棋颜色的可能性，该算法将最优出价计算为1与该概率两倍之差的一半，从而在计算量极小的情况下实现对人类对手的强力对弈。

ABSTRACT

We present a Monte Carlo algorithm for efficiently finding near optimal moves and bids in the game of Bidding Hex. The algorithm is based on the recent solution of Random-Turn Hex by Peres, Schramm, Sheffield, and Wilson together with Richman's work connecting random-turn games to bidding games.

研究动机与目标

• 开发一种高效的博弈六角棋人工智能，该变体中玩家通过竞标获得行动权。
• 解决在具有复杂战略深度且精确分析难以实现的游戏背景下，寻找近似最优步法与出价的挑战。
• 将随机落子六角棋中的洞察（即最优步法为最大化临界性概率）适配至竞标游戏，借助里奇曼理论实现。
• 实现一种可扩展的基于模拟的方法，即使在计算资源有限的情况下也能表现出色。

提出的方法

• 对部分填充的六角棋棋盘进行大量随机完成的模拟，随机为每个空格分配颜色。
• 对每个开放的六角格，计算在模拟中其被填充为输棋颜色的比例，记为 $ L_H $。
• 识别 $ L_H $ 最小的六角格 $ H $，因其对应于成为关键格的最高概率，故为最优步法选择。
• 将最优出价计算为 $ \delta(v) = \frac{1}{2} - L_H $，表示在实值竞标下从当前局面移动的价值。
• 将 $ \delta(v) \times \text{总筹码数} $ 的整数部分作为离散竞标中的实际出价。
• 若出价获胜，则在六角格 $ H $ 落子；否则在获得对方筹码后接受对方的走法。

实验结果

研究问题

• RQ1 能否通过随机棋盘完成的蒙特卡洛采样来近似博弈六角棋中的最优步法？
• RQ2 如何利用随机落子六角棋中某六角格的临界性概率，推导出竞标游戏中的最优出价？
• RQ3 基于随机落子游戏推导出的实值竞标策略，在离散竞标六角棋中能在多大程度上实现优异表现？
• RQ4 该基于模拟的方法在标准11×11六角棋棋盘上的计算效率与实际有效性如何？

主要发现

• 该算法通过选择在随机填充中被分配为输棋颜色频率最低的空格，识别出近似最优的步法。
• 最优出价由公式 $ \delta(v) = \frac{1}{2} - L_H $ 推导得出，其中 $ L_H $ 为模拟中六角格 $ H $ 被填充为输棋颜色的比例。
• 该方法表现优异：实现的程序在对人类对手时保持不败，并可在标准桌面硬件上高效运行，每秒处理约50,000次模拟。
• 每步使用数十万次模拟时，该算法在11×11棋盘上能持续击败高水平人类玩家。
• 该方法基于里奇曼理论与随机落子六角棋定理，确保了随机落子游戏中最优步法与最大化临界性概率的步法一致。
• 即使在筹码数量较少的情况下，该方法依然有效，因为它近似了在极限情况下被证明为最优的实值竞标策略。