[论文解读] From Gameplay to Symbolic Reasoning: Learning SAT Solver Heuristics in the Style of Alpha(Go) Zero

Fei Wang, Tiark Rompf|arXiv (Cornell University)|Feb 14, 2018

Machine Learning in Materials Science参考文献 7被引用 3

一句话总结

本文提出将布尔可满足性问题（SAT）等符号推理问题建模为游戏，以利用深度强化学习学习最优决策启发式方法。通过将SAT求解建模为序列决策游戏，并应用类似Alpha(Go) Zero的强化学习方法，该方法在泛化能力和正确性方面优于DeepQ和传统启发式方法，展示了使用神经网络进行符号推理的模块化、高效且正确的方法。

ABSTRACT

Despite the recent successes of deep neural networks in various fields such as image and speech recognition, natural language processing, and reinforcement learning, we still face big challenges in bringing the power of numeric optimization to symbolic reasoning. Researchers have proposed different avenues such as neural machine translation for proof synthesis, vectorization of symbols and expressions for representing symbolic patterns, and coupling of neural back-ends for dimensionality reduction with symbolic front-ends for decision making. However, these initial explorations are still only point solutions, and bear other shortcomings such as lack of correctness guarantees. In this paper, we present our approach of casting symbolic reasoning as games, and directly harnessing the power of deep reinforcement learning in the style of Alpha(Go) Zero on symbolic problems. Using the Boolean Satisfiability (SAT) problem as showcase, we demonstrate the feasibility of our method, and the advantages of modularity, efficiency, and correctness guarantees.

研究动机与目标

• 为解决将深度神经网络与符号推理相结合的挑战，特别是在离散的、基于逻辑的问题（如SAT）中。
• 通过将符号推理重新定义为游戏，克服现有方法的局限性——如缺乏正确性保证、泛化能力差以及依赖于特定点解法——以应对这些挑战。
• 在模块化、可正确构建的框架中，利用深度强化学习的决策能力解决符号问题。
• 评估类似Alpha(Go) Zero的学习方法在符号推理任务中是否能比DeepQ实现更好的泛化能力，以SAT作为基准。
• 证明神经网络可在游戏化SAT环境中通过自对弈学习，掌握高层次的符号推理模式（如分支启发式），同时保持符号推理的可解释性和正确性。

提出的方法

• 将CNF（合取范式）形式的SAT问题表示为稀疏邻接矩阵，其中行代表子句，列代表变量，极性通过(1,0)或(0,1)编码。
• 使用卷积神经网络（CNN）处理矩阵表示，生成用于强化学习的状态嵌入。
• 扩展MiniSat SAT求解器，使其作为Gym风格环境运行，支持通过可逆模拟与强化学习智能体交互。
• 在Alpha(Go) Zero算法中引入蒙特卡洛树搜索（MCTS），以引导探索并提升策略网络和价值网络的学习效果。
• 在相同的SAT游戏环境中训练两种强化学习算法——DeepQ和Alpha(Go) Zero，后者学习策略向量（pi）和状态值（v）以指导决策。
• 采用基于分支决策数量的奖励信号，分支决策越少表示性能越好。

实验结果

研究问题

• RQ1 符号推理问题（如SAT）能否被有效建模为游戏，以支持通过深度强化学习学习启发式方法？
• RQ2 尽管两者在训练数据上均收敛，Alpha(Go) Zero风格的强化学习在符号推理任务中是否比DeepQ具有更好的泛化能力？
• RQ3 在类似游戏的SAT环境中通过自对弈训练的神经网络，能否学习出优于人工设计的启发式方法（如VSIGS）的启发式策略？
• RQ4 基于游戏的框架的模块化设计在多大程度上可复用于其他符号推理问题？
• RQ5 与DeepQ中的Q值学习相比，Alpha(Go) Zero中MCTS以及价值/策略网络的使用，在符号推理泛化方面有何优势？

主要发现

• Alpha(Go) Zero算法在32个SAT问题的训练集上达到接近最优性能，并在200个问题的测试集上表现出良好泛化能力。
• DeepQ在训练集上收敛，但在测试集上表现不佳，表明其对特定状态-动作对存在过拟合。
• 两种强化学习模型在平均分支决策数方面均优于使用VSIGS启发式的MiniSat求解器。
• Alpha(Go) Zero模型的平均分支决策数显著低于MiniSat，证明其启发式策略质量更优。
• 该方法通过仅允许有效分支决策来保证正确性，确保不会产生非法动作或错误解。
• 该方法具有良好的模块化特性，相同的神经网络和游戏接口可经少量修改后应用于其他符号推理问题。