[论文解读] Graph Neural Reasoning May Fail in Certifying Boolean Unsatisfiability

Ziliang Chen, Zhanfu Yang|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 20被引用 6

一句话总结

该论文表明，图神经网络（GNNs）由于其消息传递机制的固有局限性，无法对合取范式（CNF）公式中的布尔不可满足性（UNSAT）进行认证。尽管GNNs能够模拟像WalkSAT这样的局部搜索启发式方法来求解SAT问题，但它们无法捕捉证明UNSAT所需的全局推理，尤其是在需要穷举搜索和公式简化的问题（如2QBF）中。

ABSTRACT

It is feasible and practically-valuable to bridge the characteristics between graph neural networks (GNNs) and logical reasoning. Despite considerable efforts and successes witnessed to solve Boolean satisfiability (SAT), it remains a mystery of GNN-based solvers for more complex predicate logic formulae. In this work, we conjectures with some evidences, that generally-defined GNNs present several limitations to certify the unsatisfiability (UNSAT) in Boolean formulae. It implies that GNNs may probably fail in learning the logical reasoning tasks if they contain proving UNSAT as the sub-problem included by most predicate logic formulae.

研究动机与目标

• 探究GNN是否能够学习认证布尔不可满足性（UNSAT），这是谓词逻辑推理中的一个关键子问题。
• 分析标准GNN消息传递机制在捕捉证明UNSAT所需全局推理方面的局限性。
• 将GNN行为与已知的SAT求解器（如DPLL、CDCL）和局部搜索方法（如WalkSAT）进行比较，以识别结构上的不匹配。
• 评估GNN是否能够模拟2QBF问题中的推理过程，这类问题本质上需要UNSAT证明。
• 阐明为何基于数据驱动的GNN在SAT和2QBF问题中表现接近随机猜测，如先前研究中所观察到的。

提出的方法

• 构建CNF公式的二部图表示，为文字和子句分别设置节点，利用GNN的消息传递机制传播嵌入表示。
• 定义一个最优聚合函数（公式4），当包含某文字的所有子句均被满足时，将其文字嵌入设为零，以模拟WalkSAT选择未满足子句的机制。
• 通过随机向量注入（公式5–6）模拟未满足子句中变量的随机翻转，以模拟WalkSAT的局部搜索启发式。
• 将子句嵌入设计为在未满足时变为零（公式7），使聚合函数能够检测出出现在未满足子句中的文字。
• 证明GNN的更新规则（公式4–7）共同模拟了WalkSAT的迭代过程，包括在所有子句均被满足时的收敛。
• 通过分析失败模式，表明GNN无法模拟DPLL或CDCL等完整UNSAT求解器所使用的公式简化和变量赋值策略。

实验结果

研究问题

• RQ1 GNN能否模拟证明CNF公式布尔不可满足性（UNSAT）所需的完整推理过程？
• RQ2 为何基于GNN的2QBF模型即使在SAT问题上成功，仍无法超越随机猜测？
• RQ3 GNN的消息传递机制在多大程度上能模拟类似WalkSAT的局部搜索启发式行为？
• RQ4 哪些结构性或表示性限制导致GNN无法捕捉证明UNSAT所需的全局推理？
• RQ5 GNN在UNSAT认证中的失败是由于消息传递机制过于简单，还是需要更深层次的架构改进？

主要发现

• 通过精心设计的聚合与组合函数，GNN能够通过公式4–7的形式化方式模拟WalkSAT的局部搜索启发式。
• GNN的消息传递机制无法模拟DPLL和CDCL等完整SAT求解器所使用的公式简化和变量消除步骤。
• 当所有子句均被满足时，GNN会收敛到一个不动点，此时文字嵌入保持稳定，表明成功模拟了WalkSAT的停止条件。
• GNN无法在2QBF问题中认证UNSAT，因为它缺乏系统性搜索和公式约简的能力，而这些是证明不可满足性的关键。
• 无法证明UNSAT解释了数据驱动GNN在2QBF问题中表现不佳的原因，其性能与随机猜测相近，如先前研究中所报告。
• 信念传播（BP）可通过迭代地为有偏∀-变量赋值并简化公式，找到2QBF中不可满足性的证据，这种能力超出了当前单次GNN嵌入的范围。