[论文解读] First-Order Problem Solving through Neural MCTS based Reinforcement Learning

Ruiyang Xu, Prashank Kadam+1 more|arXiv (Cornell University)|Jan 11, 2021

Artificial Intelligence in Games参考文献 30被引用 5

一句话总结

本文提出了Persephone框架，将一阶逻辑（FOL）可表达的组合问题映射为双人语义博弈，通过基于神经网络蒙特卡洛树搜索（MCTS）的强化学习实现求解。通过采用非对称神经网络设计、MCTS热启动机制以及KL正则化的PPO策略学习方法，该方法在样本效率和收敛速度方面表现优异，在源自FOL问题的语义博弈上优于标准AlphaZero变体。

ABSTRACT

The formal semantics of an interpreted first-order logic (FOL) statement can be given in Tarskian Semantics or a basically equivalent Game Semantics. The latter maps the statement and the interpretation into a two-player semantic game. Many combinatorial problems can be described using interpreted FOL statements and can be mapped into a semantic game. Therefore, learning to play a semantic game perfectly leads to the solution of a specific instance of a combinatorial problem. We adapt the AlphaZero algorithm so that it becomes better at learning to play semantic games that have different characteristics than Go and Chess. We propose a general framework, Persephone, to map the FOL description of a combinatorial problem to a semantic game so that it can be solved through a neural MCTS based reinforcement learning algorithm. Our goal for Persephone is to make it tabula-rasa, mapping a problem stated in interpreted FOL to a solution without human intervention.

研究动机与目标

• 开发一种通用框架，自动将一阶逻辑问题映射为适用于强化学习的语义博弈。
• 将基于神经MCTS的强化学习方法扩展至传统棋盘游戏之外，用于求解可由解释性一阶逻辑表达的组合问题。
• 通过定制化的算法改进，提升稀疏奖励、高状态空间问题中的样本效率与收敛速度。
• 研究博弈结构中的对称性与非对称性对神经网络设计与学习性能的影响。
• 在真实FOL问题（包括HSR）上验证该框架，结合真实值指标与性能评分技术进行评估。

提出的方法

• 利用塔尔斯基语义或博弈语义将FOL问题实例映射为双人语义博弈，实现基于博弈论的问题求解。
• 采用神经MCTS，结合策略网络与价值网络引导树搜索，使用上限置信区间（UCB）进行选择，并通过自我对弈生成数据。
• 提出一种新颖的非对称神经网络架构，为每位玩家分别使用独立网络，以建模非对称的博弈动态。
• 应用热启动MCTS，通过早期迭代中的先验知识初始化MCTS，以加速收敛。
• 策略学习采用KL散度正则化的PPO（近端策略优化）方法，以提升训练稳定性和样本效率。
• 通过真实值指标（如故障计数）和替代评分方法（如Elo评分与α-Rank）评估性能，适用于最优解未知的问题。

实验结果

研究问题

• RQ1 一阶逻辑问题能否被有效转化为适合神经MCTS强化学习的语义博弈？
• RQ2 博弈结构中的非对称性如何影响多智能体马尔可夫决策过程中的神经网络设计与性能？
• RQ3 热启动MCTS是否能提升求解语义博弈时的收敛速度与样本效率？
• RQ4 在非对称语义博弈中，独立玩家网络与KL正则化策略学习对性能有何影响？
• RQ5 当真实最优解未知时，Elo评分与α-Rank等性能评分技术能否可靠地追踪收敛过程？

主要发现

• 采用KL正则化PPO、热启动MCTS与独立玩家网络的配置取得了最佳性能，优于标准AlphaZero及其他变体。
• 热启动MCTS显著缩短了训练时间，相较于非热启动基线模型收敛更快。
• 独立玩家网络提升了学习效率与性能，尤其在非对称博弈中表现明显，表现为对手网络的策略损失更早收敛。
• 在CE配置中，价值网络过早收敛至局部最优，延缓了整体学习进程并增加了训练时间。
• 通过Elo评分与α-Rank进行性能评估显示出明显的相变阶段，表明成功发现了最优策略，尤其在HSR(4,4,16)中，第8轮时Elo评分跃升550分。
• 在HSR(3,3,8)中，双方玩家在数轮内即实现0次故障，确认在少数迭代内收敛至真实值解。