[论文解读] Learning a SAT Solver from Single-Bit Supervision

Daniel Selsam, Matthew Lamm+4 more|arXiv (Cornell University)|Feb 11, 2018

Constraint Satisfaction and Optimization参考文献 24被引用 189

一句话总结

NeuroSAT 是一个仅用于预测 SAT/UNSAT 的信息传递神经网络，随后可以解码使满足的赋值并通过进行更多迭代来解决更大/不同的 SAT 问题。

ABSTRACT

We present NeuroSAT, a message passing neural network that learns to solve SAT problems after only being trained as a classifier to predict satisfiability. Although it is not competitive with state-of-the-art SAT solvers, NeuroSAT can solve problems that are substantially larger and more difficult than it ever saw during training by simply running for more iterations. Moreover, NeuroSAT generalizes to novel distributions; after training only on random SAT problems, at test time it can solve SAT problems encoding graph coloring, clique detection, dominating set, and vertex cover problems, all on a range of distributions over small random graphs.

研究动机与目标

• 开发一个神经网络，通过最小监督将其训练为一个 SAT 分类器，以学习求解 SAT 问题。
• 通过基于图的编码将 SAT 问题中的置换不变性和取反不变性强制实现。
• 证明模型解决更大规模问题并迁移到不同领域的能力。
• 展示通过从网络激活中解码解来实现求解。
• 探索不可满足核心检测及其在不可满足性证明中的应用。

提出的方法

• 将 SAT 问题编码为包含文字节点和子句节点的二分图，并设置互补的文字边。
• 使用一个信息传递神经网络（NeuroSAT），每次迭代进行两阶段更新（子句→文字，文字→子句），并用 LSTM 更新状态。
• 通过基于图的拓扑结构和文字互补关系保持置换不变性和取反不变性。
• 在 T 次迭代后对每个文字计算一个标量投票，并通过 sigmoid 损失预测可满足性。
• 在由 SR(n) 生成的单比特带标签的数据集上进行训练，其中一个可满足实例与一个不可满足实例仅在一个文字上不同。
• 展示通过聚类从最终文字嵌入中解码出使满足的赋值。

实验结果

研究问题

• RQ1 仅被训练用于对 SAT 问题进行分类的神经网络是否能够学习一个找到使满足的赋值的过程？
• RQ2 NeuroSAT 是否能超出训练分布，对更大规模和以 SAT 编码的 completely 不同问题领域进行泛化？
• RQ3 是否可以用同一体系结构来识别不可满足核心并辅助不可满足性的证明？
• RQ4 NeuroSAT 激活中解的解码背后的机制是什么，以及在不同实例中的可靠性如何？

主要发现

• NeuroSAT 在 SR(U(10,40)) 测试集上对可满足性分类达到 85% 的准确率。
• 在可满足的问题上，NeuroSAT 正确预测 SAT 的准确率为 73%，并能从此类问题中解码出使满足的赋值，比例为 70%。
• 在不可满足的问题上，NeuroSAT 对 UNSAT 的准确率达到 96%。
• 通过运行更多迭代，NeuroSAT 能够解决训练中看到的显著更大规模的问题（例如 n=200 时使用扩展迭代的 SR(n) 的 25%）。
• NeuroSAT 能泛化到将图着色、团检测、支配集和顶点覆盖等问题编码为 SAT 的情形，在各种随机图分布下均成立。
• 在用带有小型不可满足核心的数据进行训练时，NeuroUNSAT 能在检测可满足性方面达到 100% 的准确率，并且能从激活中解码核心文字。