[论文解读] Can $Q$-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?

Vitaly Kurin, Saad Godil+2 more|arXiv (Cornell University)|Sep 26, 2019

Software Engineering Research被引用 11

一句话总结

本文提出 Graph-Q-SAT，一种基于强化学习的 CDCL SAT 求解器分支启发式方法，结合图神经网络（GNNs）与深度 Q-learning。该方法通过学习问题结构，使迭代次数相比 VSIDS 减少 2-3 倍，可泛化至 5 倍大且不可满足的实例，并展现出数据效率与零样本迁移能力，证明了在 SAT 求解中实现可扩展、可泛化的启发式学习具有强大潜力。

ABSTRACT

We present Graph-$Q$-SAT, a branching heuristic for a Boolean SAT solver trained with value-based reinforcement learning (RL) using Graph Neural Networks for function approximation. Solvers using Graph-$Q$-SAT are complete SAT solvers that either provide a satisfying assignment or proof of unsatisfiability, which is required for many SAT applications. The branching heuristics commonly used in SAT solvers make poor decisions during their warm-up period, whereas Graph-$Q$-SAT is trained to examine the structure of the particular problem instance to make better decisions early in the search. Training Graph-$Q$-SAT is data efficient and does not require elaborate dataset preparation or feature engineering. We train Graph-$Q$-SAT using RL interfacing with MiniSat solver and show that Graph-$Q$-SAT can reduce the number of iterations required to solve SAT problems by 2-3X. Furthermore, it generalizes to unsatisfiable SAT instances, as well as to problems with 5X more variables than it was trained on. We show that for larger problems, reductions in the number of iterations lead to wall clock time reductions, the ultimate goal when designing heuristics. We also show positive zero-shot transfer behavior when testing Graph-$Q$-SAT on a task family different from that used for training. While more work is needed to apply Graph-$Q$-SAT to reduce wall clock time in modern SAT solving settings, it is a compelling proof-of-concept showing that RL equipped with Graph Neural Networks can learn a generalizable branching heuristic for SAT search.

研究动机与目标

• 开发一种基于强化学习的、数据高效且可泛化的 SAT 求解器分支启发式方法。
• 在不依赖领域专业知识的前提下，替代或改进手写启发式方法（如 VSIDS）。
• 评估图神经网络是否能够实现对不同规模和类型的 SAT 问题实例的泛化。
• 研究在 SAT 求解中实现零样本迁移与运行时间改进的可能性。
• 证明将 GNN 与基于价值的强化学习结合用于符号推理任务的可行性。

提出的方法

• 使用 CNF 公式的图表示，将变量作为节点，子句作为边，实现对排列和变量重标记的不变性。
• 采用图神经网络（GNN）作为函数逼近器，用于估计 Q-learning 中状态-动作对的 Q 值。
• 通过深度 Q-learning（DQN 风格）进行模型训练，使用二元奖励信号：求解成功得 +1，超时未求解得 -1。
• 与 MiniSat 求解器接口，实现环境交互与搜索过程中的策略学习。
• 采用基于变量度数和子句数量的简单状态表示，避免复杂特征工程。
• 仅修改 CDCL 求解器的分支启发式策略，保持完备性与正确性。

实验结果

研究问题

• RQ1 使用 GNN 的 Q-learning 是否能学习到一种可在不同规模的 SAT 问题实例间泛化的分支启发式？
• RQ2 所学习的启发式在迭代次数与运行时间方面是否优于标准的 VSIDS 启发式？
• RQ3 该模型是否能泛化至不可满足（unSAT）实例，以及远大于训练分布的问题？
• RQ4 当在与训练任务家族不同的任务家族上测试时，模型是否表现出零样本迁移能力？
• RQ5 训练过程的数据效率如何？是否可在极少量数据（如单个问题实例）下实现性能提升？

主要发现

• Graph-Q-SAT 在训练分布上的 SAT 问题求解中，相比 VSIDS 将所需迭代次数减少了 2-3 倍。
• 该模型可泛化至不可满足（unSAT）实例，在迭代次数减少方面与可满足问题表现相当。
• 其性能可泛化至变量数量为训练集 5 倍的问题，且保持性能优势。
• 迭代次数的减少转化为更大规模问题上的运行时间减少，表明具有实际性能优势。
• 当在与训练任务家族不同的任务家族上测试时，该方法表现出正向的零样本迁移。
• 即使仅在单个 SAT 问题实例上进行训练，仍能获得可测量的性能提升，证明其具有极高的数据效率。