[论文解读] Comparing Beliefs, Surveys and Random Walks

Erik Aurell, Uri Gordon+1 more|arXiv (Cornell University)|Jun 9, 2004

Constraint Satisfaction and Optimization参考文献 11被引用 23

一句话总结

本文提出了一种统一的概率推导方法，用于信念传播（BP）、普查传播（SP）以及求解随机3-SAT问题的混合方法。结果表明，SP引导的删减可将WSAT搜索成本降低三到四个数量级，在易SAT区域中WSAT成本随N线性增长，在难SAT区域则反映出解空间结构，从而实现对接近SAT/UNSAT相变阈值的大规模公式的高效求解。

ABSTRACT

Survey propagation is a powerful technique from statistical physics that has been applied to solve the 3-SAT problem both in principle and in practice. We give, using only probability arguments, a common derivation of survey propagation, belief propagation and several interesting hybrid methods. We then present numerical experiments which use WSAT (a widely used random-walk based SAT solver) to quantify the complexity of the 3-SAT formulae as a function of their parameters, both as randomly generated and after simplification, guided by survey propagation. Some properties of WSAT which have not previously been reported make it an ideal tool for this purpose -- its mean cost is proportional to the number of variables in the formula (at a fixed ratio of clauses to variables) in the easy-SAT regime and slightly beyond, and its behavior in the hard-SAT regime appears to reflect the underlying structure of the solution space that has been predicted by replica symmetry-breaking arguments. An analysis of the tradeoffs between the various methods of search for satisfying assignments shows WSAT to be far more powerful that has been appreciated, and suggests some interesting new directions for practical algorithm development.

研究动机与目标

• 使用概率论统一推导信念传播（BP）、普查传播（SP）以及混合方法。
• 利用WSAT作为解空间结构的探测工具，量化随机3-SAT公式的复杂度。
• 评估SP引导删减在降低求解大规模3-SAT实例计算成本方面的有效性。
• 评估在难SAT区域中启发式求解器与消息传递算法之间的权衡。

提出的方法

• 仅通过条件概率推理推导信念传播（BP）与普查传播（SP），将消息视为子句被满足的概率。
• 定义双向消息：从变量到子句的‘传输’消息（变量满足子句的概率），以及从子句到变量的‘影响’消息（其他变量满足子句的概率）。
• 使用迭代消息传递方程：通过其他变量影响的乘积更新影响消息，通过贝叶斯组合方式更新传输消息。
• 通过冻结在真值上具有高置信度的变量实施基于SP的删减，从而减小公式规模与解空间复杂度。
• 采用WSAT作为成本度量，分析公式复杂度，测量找到满足赋值的中位步数。
• 在N=10,000且α=4.1、4.2的公式上进行数值实验，比较SP+WSAT与仅使用WSAT的性能，包含时间与缩放性分析。

实验结果

研究问题

• RQ1 在统一的概率框架下，信念传播与普查传播之间有何关系？
• RQ2 在随机3-SAT中，WSAT成本随子句-变量比α的变化行为如何？
• RQ3 SP引导删减在多大程度上降低了求解3-SAT公式的有效复杂度？
• RQ4 为何部分删减会导致WSAT运行时间不可预测地增加？在SP无法收敛之前，删减的极限是什么？
• RQ5 WSAT的性能在多大程度上反映了副本对称性破缺理论所预测的底层解空间结构？

主要发现

• 在易SAT区域及其稍远区域，WSAT成本随N线性增长，表明在简化公式上表现高效。
• WSAT的指数成本在α ≈ 4.15处开始出现，log(N_onset)与(4.15−α)表现出强烈的渐近依赖关系。
• SP引导删减使中位WSAT成本相比原始公式降低了3至4个数量级。
• SP删减后，剩余的WSAT成本随剩余变量数线性增长，且每变量成本仅增加约两倍。
• 对于N=10,000且α=4.2的情况，SP+WSAT在10,420秒内求解了100个公式（其中WSAT耗时300秒），而仅使用WSAT需27,771秒，且约50%的运行失败。
• SP成本大致与N²成正比，而删减后的WSAT成本仍与N成正比，表明SP是一个可扩展的预处理步骤。