[论文解读] Analysing Survey Propagation Guided Decimation on Random Formulas

Samuel Hetterich|arXiv (Cornell University)|Feb 22, 2016

Bayesian Modeling and Causal Inference参考文献 9被引用 12

一句话总结

本文对随机 k-SAT 公式的启发式算法——调查传播引导消去（SPGD）进行了严格分析。证明了当子句与变量的比值超过 $ 2^k(1 + \varepsilon_k)\ln k / k $ 时，SPGD 以高概率无法找到满足赋值，其中 $ \varepsilon_k \to 0 $ 当 $ k \to \infty $，其性能比满足性阈值 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $ 低了约 $ k $ 倍。

ABSTRACT

Let $\varPhi$ be a uniformly distributed random $k$-SAT formula with $n$ variables and $m$ clauses. For clauses/variables ratio $m/n \leq r_{k ext{-SAT}} \sim 2^k\ln2$ the formula $\varPhi$ is satisfiable with high probability. However, no efficient algorithm is known to provably find a satisfying assignment beyond $m/n \sim 2k \ln(k)/k$ with a non-vanishing probability. Non-rigorous statistical mechanics work on $k$-CNF led to the development of a new efficient "message passing algorithm" called \emph{Survey Propagation Guided Decimation} [Mézard et al., Science 2002]. Experiments conducted for $k=3,4,5$ suggest that the algorithm finds satisfying assignments close to $r_{k ext{-SAT}}$. However, in the present paper we prove that the basic version of Survey Propagation Guided Decimation fails to solve random $k$-SAT formulas efficiently already for $m/n=2^k(1+\varepsilon_k)\ln(k)/k$ with $\lim_{k o\infty}\varepsilon_k= 0$ almost a factor $k$ below $r_{k ext{-SAT}}$.

研究动机与目标

• 对随机 k-SAT 公式上的调查传播引导消去（SPGD）算法性能进行严格评估。
• 确定 SPGD 能够高效找到满足赋值的最大子句与变量比值。
• 弥合算法阈值（已知算法可成功）与满足性阈值（公式以高概率仍可满足）之间的差距。
• 分析 SPGD 在随机 k-SAT 的聚集、冻结相中失败的机制，该阶段长程相关性占主导地位。
• 为 SPGD 在特定密度范围内算法局限性的根本原因提供形式化、非启发式的解释。

提出的方法

• 将 SPGD 视为在具有 $ n $ 个变量和 $ m = \lceil rn \rceil $ 个子句的均匀随机 k-CNF 公式上运行的随机算法。
• 采用两级概率模型：公式生成中的随机性与算法中随机抛硬币的随机性。
• 应用集中不等式（Chernoff 不等式）以控制子句重叠和变量度数的波动。
• 利用矩阵范数分析与谱分解，对变量对的影响及其相关性进行建模。
• 引入影响矩阵 $ \Lambda $ 的分解形式 $ \Lambda^{ijL} $，用于追踪跨大小为 $ L $ 的子句的变量对。
• 通过对所有可能的变量对与子句大小使用并集界，以控制总影响并建立失败概率的上界。

实验结果

研究问题

• RQ1 SPGD 在子句与变量比值 $ r $ 达到多大时，仍能以非零概率找到满足赋值？
• RQ2 SPGD 是否能在满足性阈值 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $ 附近成功，还是会在其显著之前就失败？
• RQ3 冻结簇与长程相关性在 SPGD 失败中扮演何种角色？
• RQ4 SPGD 的性能能否被严格界定？即使公式是可满足的，它是否在 $ n $ 上呈指数级失败？
• RQ5 对于较大的 $ k $，SPGD 的算法阈值与真实满足性阈值之间是否存在根本性差距？

主要发现

• 当 $ r \geq 2^k(1 + \varepsilon_k)\ln k / k $ 时，SPGD 找不到满足赋值的概率至多为 $ \exp(-\Omega(n)) $，其中 $ \varepsilon_k \to 0 $ 当 $ k \to \infty $。
• 失败概率在 $ n $ 上呈指数级小，意味着即使对算法进行次指数级重复，也几乎不可能成功。
• 该算法在满足性阈值 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $ 之前就已失败，具体而言，其失败比阈值低了约 $ k $ 倍。
• 失败的根本原因在于算法无法有效处理高子句密度下出现的聚集、冻结解结构。
• 分析表明，尽管对小的 $ k $ 值 SPGD 表现良好，但其无法在 $ r \sim 2^k \ln k / k $ 以上高效求解随机 k-SAT。
• 该证明依赖于控制影响矩阵的谱范数，并表明在冻结相中，变量对的相关性会增长至算法无法控制的程度。