[论文解读] Bandit Algorithms for Tree Search

Pierre-Arnaud Coquelin, Rémi Munos|arXiv (Cornell University)|Aug 9, 2014

Artificial Intelligence in Games参考文献 6被引用 178

一句话总结

本文提出了平滑树的Bandit算法（BAST）及相关方法，通过利用奖励的平滑性来改进大规模或无限树中的树搜索。该方法引入了一种随深度增长的置信度序列，并为叶节点级别的Flat-UCB建立了有限样本后悔界，表明BAST通过置信度剪枝次优分支，实现了高概率的后悔界，从而实现高效的探索并收敛到最优路径。

ABSTRACT

Bandit based methods for tree search have recently gained popularity when applied to huge trees, e.g. in the game of go [6]. Their efficient exploration of the tree enables to re- turn rapidly a good value, and improve preci- sion if more time is provided. The UCT algo- rithm [8], a tree search method based on Up- per Confidence Bounds (UCB) [2], is believed to adapt locally to the effective smoothness of the tree. However, we show that UCT is "over-optimistic" in some sense, leading to a worst-case regret that may be very poor. We propose alternative bandit algorithms for tree search. First, a modification of UCT us- ing a confidence sequence that scales expo- nentially in the horizon depth is analyzed. We then consider Flat-UCB performed on the leaves and provide a finite regret bound with high probability. Then, we introduce and analyze a Bandit Algorithm for Smooth Trees (BAST) which takes into account ac- tual smoothness of the rewards for perform- ing efficient "cuts" of sub-optimal branches with high confidence. Finally, we present an incremental tree expansion which applies when the full tree is too big (possibly in- finite) to be entirely represented and show that with high probability, only the optimal branches are indefinitely developed. We illus- trate these methods on a global optimization problem of a continuous function, given noisy values.

研究动机与目标

• 为解决UCT在树搜索中的局限性，特别是其过度乐观导致的最差情况后悔性能不佳。
• 开发基于Bandit的树搜索算法，使其能够适应树中奖励的实际平滑性。
• 为大规模或无限树中的树搜索提供具有高概率保证的有限样本后悔界。
• 在无法显式表示完整树的情况下，实现树的增量式扩展。
• 通过高置信度剪枝次优子树，提升收敛到最优路径的速度。

提出的方法

• 提出一种改进的UCT算法，使用随树深度呈指数增长的置信度序列，以减少过度乐观。
• 分析直接应用于叶节点的Flat-UCB，推导出具有高概率的有限后悔界。
• 提出BAST（平滑树的Bandit算法），利用局部平滑性估计来指导以高置信度剪枝次优分支。
• 采用基于置信度的剪枝策略，动态评估次优子树为最优的可能性。
• 开发一种增量式树扩展机制，仅扩展最具前景的分支，避免完整树的枚举。
• 使用基于置信度序列的上置信界，以在树中平衡探索与利用。

实验结果

研究问题

• RQ1 UCT的过度乐观是否可以被纠正，从而在树搜索中获得更好的最差情况后悔性能？
• RQ2 是否可以在高概率保证下，为树搜索算法建立有限样本后悔界？
• RQ3 是否可以利用树中的奖励平滑性来指导高效剪枝次优子树？
• RQ4 是否可以实现仅聚焦于高置信度最优分支的增量式树扩展？
• RQ5 是否可以设计出能够局部适应树搜索中奖励结构有效平滑性的Bandit算法？

主要发现

• 采用指数置信度缩放的改进UCT显著减少了过度乐观，提升了最差情况后悔性能。
• 将Flat-UCB直接应用于叶节点可实现具有高概率的有限后悔界，为叶节点级Bandit方法提供了理论保证。
• BAST成功利用局部平滑性，对次优子树做出高置信度剪枝，显著提升了搜索效率。
• 增量式树扩展策略确保仅最优分支以高概率被无限扩展。
• 在连续全局优化问题上的实验结果表明，BAST在收敛速度和精度方面优于标准UCT。
• 理论分析证实，即使在无限树中，BAST也能在高概率置信度下实现有限后悔界。