[论文解读] Maximin Action Identification: A New Bandit Framework for Games

Aurélien Garivier, Emilie Kaufmann+1 more|arXiv (Cornell University)|Feb 15, 2016

Advanced Bandit Algorithms Research参考文献 12被引用 3

一句话总结

本文提出了一种新颖的多臂赌博机框架，用于在两玩家零和博弈中识别最大化最小值行动（maximin action），其中玩家通过随机采样行动对的输出来估计胜率。该文提出了两种算法——Maximin-LUCB 和 Maximin-Racing，分别基于置信区间和顺序淘汰策略，理论上实现了最优样本复杂度，并在实验中表现出强劲性能，理论与实证结果均表明在特定条件下具有渐近最优性。

ABSTRACT

We study an original problem of pure exploration in a strategic bandit model motivated by Monte Carlo Tree Search. It consists in identifying the best action in a game, when the player may sample random outcomes of sequentially chosen pairs of actions. We propose two strategies for the fixed-confidence setting: Maximin-LUCB, based on lower-and upper-confidence bounds; and Maximin-Racing, which operates by successively eliminating the sub-optimal actions. We discuss the sample complexity of both methods and compare their performance empirically. We sketch a lower bound analysis, and possible connections to an optimal algorithm.

研究动机与目标

• 为通过识别在不确定性下的最优战略行动来最小化蒙特卡洛树搜索（MCTS）中的展开次数，解决根本性挑战。
• 形式化一种新型赌博机模型，目标是识别在对抗性对手下使最小胜率最大化的行动。
• 设计并分析动态采样策略，以最小化识别 ǫ-maximin 行动所需的样本数（展开次数），并以高置信度保证结果正确。
• 建立理论上的样本复杂度界，并探讨在固定置信度设置下与渐近最优性的联系。

提出的方法

• 提出一个包含 K = ∑Ki 个伯努利臂的随机赌博机模型，每个臂对应一对行动 (i,j)，其均值 µi,j 表示当玩家 A 选择行动 i 而对手选择 j 时的胜率。
• 引入 Maximin-LUCB，一种利用下界与上界置信区间来顺序采样臂的策略，当最优行动的 maximin 值置信区间足够窄时停止。
• 开发 Maximin-Racing，一种基于置信区间进行顺序淘汰的算法，可确保 δ-PAC 性能。
• 采用固定置信度设置，其中停止规则确保最终推荐的行动 ˆı 为 ǫ-maximin 行动的概率至少为 1−δ。
• 使用霍夫丁不等式与 KL 散度界分析样本复杂度，并推导出期望样本数的非显式下界。
• 通过设计一种渐近匹配最优比例向量 w∗(µ) 的采样规则，勾勒出渐近最优性的路径，该向量由单纯形上的凸优化问题导出。

实验结果

研究问题

• RQ1 在胜率未知的两玩家零和博弈中，识别 ǫ-maximin 行动所需的最少样本数（展开次数）是多少？
• RQ2 如何设计顺序采样策略，以在保证该新型赌博机框架下 δ-PAC 正确性的前提下，最小化样本复杂度？
• RQ3 该最大化最小值行动识别问题的理论样本复杂度下界是什么？
• RQ4 通过使用更紧的置信区间或更自适应的采样规则，能否改进现有算法（如 Maximin-LUCB 和 Maximin-Racing）的性能？
• RQ5 是否存在一种策略，当 δ → 0 时，能渐近匹配信息论下界？

主要发现

• 在实证评估中，Maximin-Racing 和 Maximin-Chernoff 表现优于其他算法，其中 M-Chernoff 在样本效率方面略占优势。
• M-LUCB 算法由于使用霍夫丁不等式导致置信区间过于保守，因此表现次优，这一结论在与 M-KL-LUCB 和 M-Chernoff 的实证比较中得到验证。
• 在 3×3 行动模型中，M-KL-LUCB 和 M-Chernoff 下每个臂的采样次数与理论界高度吻合，验证了算法设计的有效性。
• 样本复杂度的理论下界表达为 T∗(µ)−1 = supw∈ΣK min[F1(µ,w), F2(µ,w)]，其中 F1 和 F2 依赖于 KL 散度与均值的加权平均。
• 当 µ4 > µ2 时，最优策略渐近避免采样臂 4（即 w∗4(µ) = 0），表明在最优采样策略中某些臂是无关的。
• 本文建议可通过将一种实现最优比例向量 w∗(µ) 的采样规则与基于 KL 散度的停止规则相结合，构造出渐近最优算法，尽管完整证明仍为开放问题。