[论文解读] Learning Policies from Self-Play with Policy Gradients and MCTS Value Estimates

Dennis J. N. J. Soemers, Éric Piette+2 more|arXiv (Cornell University)|May 14, 2019

Artificial Intelligence in Games参考文献 41被引用 5

一句话总结

本文提出了一种新颖的策略梯度目标函数 TSPG，该函数在不鼓励探索的前提下，通过使用 MCTS 价值估计进行梯度估计，训练策略以最大化预期 MCTS 表现。实验结果表明，与交叉熵训练相比，TSPG 能够生成熵更低、特征权重更具可解释性的更强策略，因此更适用于棋类游戏中的策略提取。

ABSTRACT

In recent years, state-of-the-art game-playing agents often involve policies that are trained in self-playing processes where Monte Carlo tree search (MCTS) algorithms and trained policies iteratively improve each other. The strongest results have been obtained when policies are trained to mimic the search behaviour of MCTS by minimising a cross-entropy loss. Because MCTS, by design, includes an element of exploration, policies trained in this manner are also likely to exhibit a similar extent of exploration. In this paper, we are interested in learning policies for a project with future goals including the extraction of interpretable strategies, rather than state-of-the-art game-playing performance. For these goals, we argue that such an extent of exploration is undesirable, and we propose a novel objective function for training policies that are not exploratory. We derive a policy gradient expression for maximising this objective function, which can be estimated using MCTS value estimates, rather than MCTS visit counts. We empirically evaluate various properties of resulting policies, in a variety of board games.

研究动机与目标

• 开发一种策略训练目标，避免在自对弈中因标准交叉熵损失而引发的探索行为。
• 通过降低策略熵，实现从训练好的策略中提取可解释、无歧义的策略。
• 通过优化预期 MCTS 结果而非模仿 MCTS 访问次数，提升自对弈中的策略表现。
• 探究基于价值的策略梯度是否能带来更显著且可解释的特征权重分布。
• 在多种棋类游戏中，比较通过 TSPG 与交叉熵损失训练的策略在可解释性与强度方面的差异。

提出的方法

• 提出一种新的策略梯度目标函数 TSPG，旨在最大化使用该策略作为仿真策略时 MCTS 的预期回报。
• 推导出一种使用 MCTS 价值估计作为监督信号的策略梯度表达式，而非使用 MCTS 访问次数或动作分布。
• 采用交替更新策略与 MCTS 滚动的自对弈训练方式，其中 MCTS 使用当前策略指导选择，价值估计用于训练。
• 通过使用可微策略参数化的随机梯度下降训练策略，采用推导出的 TSPG 梯度。
• 采用基于特征的行动表示，支持对特征重要性的分析以及所学策略的可解释性。
• 从熵、强度和特征权重分布等方面，比较 TSPG 训练的策略与交叉熵训练的策略。

实验结果

研究问题

• RQ1 训练策略以最大化预期 MCTS 表现，是否能产生比模仿 MCTS 行为的交叉熵方法更强的独立策略？
• RQ2 TSPG 目标在多大程度上降低了策略熵，从而实现更确定且可解释的动作选择？
• RQ3 TSPG 与交叉熵训练策略的特征权重分布有何差异，这是否影响策略的可解释性？
• RQ4 由 TSPG 策略引导的 MCTS 棋手，其表现是否优于使用交叉熵策略的 MCTS 棋手？
• RQ5 在使用交叉熵与 TSPG 目标时，是否存在策略强度与可解释性之间的权衡？

主要发现

• 在多种棋类游戏中，使用 TSPG 目标训练的策略在独立对弈表现上始终优于或至少不弱于使用交叉熵损失训练的策略。
• TSPG 策略在动作分布上的熵显著更低，表明其探索行为更少，行为更具确定性。
• TSPG 策略的特征权重分布展现出更宽泛的取值范围，特征间差异更显著，从而增强了可解释性。
• 尽管未显式训练以匹配 MCTS 行为，TSPG 策略产生的动作分布熵更接近于有偏 MCTS，而非交叉熵策略。
• 交叉熵策略虽然更具探索性，但可能因更高的熵而带来更均衡的 MCTS 评估结果，表明策略强度与可解释性之间存在权衡。
• TSPG 目标能够实现更清晰的特征重要性排序，为未来从学习策略中提取策略提供了支持。