[论文解读] Graph Neural Networks and Boolean Satisfiability

Benedikt Bünz, Matthew Lamm|arXiv (Cornell University)|Feb 12, 2017

Computational Drug Discovery Methods参考文献 9被引用 19

一句话总结

本文提出使用图神经网络（GNNs）通过将合取范式（CNF）公式表示为图结构，无需人工特征工程，来对布尔可满足性（SAT）问题进行分类。关键发现是在弱监督设置下，GNN能够学习区分可满足与不可满足实例，表明深度学习可以捕捉SAT问题的内在结构特性。

ABSTRACT

In this paper we explore whether or not deep neural architectures can learn to classify Boolean satisfiability (SAT). We devote considerable time to discussing the theoretical properties of SAT. Then, we define a graph representation for Boolean formulas in conjunctive normal form, and train neural classifiers over general graph structures called Graph Neural Networks, or GNNs, to recognize features of satisfiability. To the best of our knowledge this has never been tried before. Our preliminary findings are potentially profound. In a weakly-supervised setting, that is, without problem specific feature engineering, Graph Neural Networks can learn features of satisfiability.

研究动机与目标

• 探究深度神经网络是否能够在不依赖手工特征工程的情况下学习对布尔可满足性（SAT）问题进行分类。
• 探讨影响神经模型可学习性的SAT理论特性。
• 开发CNF公式的图表示方法，以支持图神经网络（GNNs）的应用。
• 评估GNN在弱监督设置下，是否能够泛化多样本实例中的可满足性模式。
• 将GNN与假设具有树状语法结构的其他神经架构（如递归神经网络（RNNs））进行比较。

提出的方法

• 将CNF公式表示为异构图，其中节点对应变量和文字，边表示变量-文字的关联关系。
• 应用图神经网络（GNNs）基于图结构上的消息传递，对图表示进行SAT或UNSAT分类。
• 在弱监督设置下训练GNN，仅使用SAT/UNSAT标签，不进行问题特定的特征工程。
• 使用SAT目标函数的可微分近似，以支持基于梯度的优化，通过Sigmoid和Tanh激活函数近似阶跃函数。
• 实现一种基于连续松弛的神经电路求解器，其中变量表示为实值向量，目标函数为可微分。
• 将性能与递归神经网络（RNNs）进行比较，后者通过聚类文字向量在CNF公式上人为构建树状结构。

实验结果

研究问题

• RQ1 图神经网络是否能够在不显式进行特征工程的情况下学习对布尔可满足性问题进行分类？
• RQ2 SAT的理论特性（如文字-变量比）如何影响神经网络在图结构化CNF公式上的可学习性？
• RQ3 通过聚类人为施加树状结构于CNF公式，是否能提升或阻碍神经分类器的性能，相较于直接使用图表示？
• RQ4 GNN在SAT分类任务上的性能与RNN等其他神经架构相比如何？
• RQ5 神经网络在端到端训练图表示时，能在多大程度上捕捉SAT问题的内在结构复杂性？

主要发现

• GNN在弱监督设置下成功学习对SAT实例进行分类，实现了高准确率，且无需人工特征工程。
• 基于连续松弛的神经SAT求解器性能随问题规模增大而下降，失败率上升，原因在于优化过程中陷入局部最优。
• 递归神经网络（RNNs）未能学习到SAT与UNSAT公式的有意义区分，因为其构建的子问题极大概率是SAT，导致模型产生强烈偏差。
• 基于RNN的方法，通过余弦相似度聚类在文字上人为构建树状结构，在SAT分类任务上表现不优于随机基线。
• RNN的失败凸显了树形模型在CNF公式上的不适用性，原因在于逻辑析取与合取的非递归、可交换性质。
• GNN的成功表明，图表示能够保留SAT问题中对分类至关重要的结构特征。