[論文レビュー] Analysing Survey Propagation Guided Decimation on Random Formulas

Samuel Hetterich|arXiv (Cornell University)|Feb 22, 2016

Bayesian Modeling and Causal Inference参考文献 9被引用数 12

ひとこと要約

この論文は、ランダムなk-SAT式を解くためのヒューリスティックなアルゴリズムであるサーベイプロパゲーションガイドドデシメーション（SPGD）を厳密に分析している。SPGDの基本的バージョンは、節対変数比が $ 2^k(1 + \varepsilon_k)\ln k / k $ を超えると、高確率で充足可能な割り当てを見つけることができないことが証明されている。ここで $ \varepsilon_k \to 0 $ であるが、充足可能性閾値 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $ からおおよそ $ k $ の要因の差がある。

ABSTRACT

Let $\varPhi$ be a uniformly distributed random $k$-SAT formula with $n$ variables and $m$ clauses. For clauses/variables ratio $m/n \leq r_{k ext{-SAT}} \sim 2^k\ln2$ the formula $\varPhi$ is satisfiable with high probability. However, no efficient algorithm is known to provably find a satisfying assignment beyond $m/n \sim 2k \ln(k)/k$ with a non-vanishing probability. Non-rigorous statistical mechanics work on $k$-CNF led to the development of a new efficient "message passing algorithm" called \emph{Survey Propagation Guided Decimation} [Mézard et al., Science 2002]. Experiments conducted for $k=3,4,5$ suggest that the algorithm finds satisfying assignments close to $r_{k ext{-SAT}}$. However, in the present paper we prove that the basic version of Survey Propagation Guided Decimation fails to solve random $k$-SAT formulas efficiently already for $m/n=2^k(1+\varepsilon_k)\ln(k)/k$ with $\lim_{k o\infty}\varepsilon_k= 0$ almost a factor $k$ below $r_{k ext{-SAT}}$.

研究の動機と目的

• ランダムk-SAT式におけるサーベイプロパゲーションガイドドデシメーション（SPGD）の性能を厳密に評価すること。
• SPGDが効率的に充足可能な割り当てを見つけることができる節対変数比の最大値を特定すること。
• 既知のアルゴリズムが成功するアルゴリズム的閾値と、式が高確率で充足可能であるとされる充足可能性閾値の間のギャップを埋めること。
• 高密度領域における解のクラスタ構造と凍結状態の下でSPGDが失敗するメカニズムを分析すること。
• SPGDのアルゴリズム的限界を、非ヒューリスティックな形式的説明として提供すること。

提案手法

• SPGDを、$ n $ 個の変数と $ m = \lceil rn \rceil $ 個の節を持つ一様ランダムなk-CNF式上で動作する確率的アルゴリズムとして分析する。
• 2段階の確率モデルを用いる：式生成のランダム性とアルゴリズム的コイントスのランダム性。
• 節の重複度や変数の次数の変動を制御するために、集中不等式（チェルノフの不等式）を適用する。
• 変数ペアの影響とその相関をモデル化するために、行列ノルム解析とスペクトル分解を用いる。
• 影響行列 $ \Lambda $ の分解を導入し、$ \Lambda^{ijL} $ の成分として、サイズ $ L $ の節を介した変数ペアの履歴を追跡する。
• すべての可能な変数ペアと節サイズについての和集合を用いて、合計影響をバウンドし、失敗確率を確立する。

実験結果

リサーチクエスチョン

• RQ1 SPGDは、節対変数比 $ r $ がどの程度までなら、非ゼロ確率で充足可能な割り当てを見つけることができるか？
• RQ2 SPGDは充足可能性閾値 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $ に近いところで成功するのか、それともはるかに前もって失敗するのか？
• RQ3 凍結クラスタと長距離相関がSPGDの失敗に果たす役割は何か？
• RQ4 SPGDの性能を厳密にバウンドすることは可能か？また、式が充足可能であっても、$ n $ に対して指数的に失敗するのか？
• RQ5 大きな $ k $ に対して、SPGDのアルゴリズム的閾値と真の充足可能性閾値の間に根本的なギャップがあるのか？

主な発見

• SPGDは、$ r \geq 2^k(1 + \varepsilon_k)\ln k / k $ に対して、充足可能な割り当てを見つける確率が $ \exp(-\Omega(n)) $ 以下である。ここで $ \varepsilon_k \to 0 $ である。
• 失敗確率は $ n $ に対して指数的に小さく、したがって高確率で成功するためにはサブ指数的繰り返しでも十分ではない。
• SPGDは充足可能性閾値 $ r_{k\text{-SAT}} \sim 2^k \ln 2 $ よりもはるかに前もって失敗する。具体的には、約 $ k $ の要因の差がある。
• 失敗の原因は、高節密度で現れる解のクラスタ構造と凍結状態をアルゴリズムが適切に扱えないことに起因する。
• 分析により、SPGDは $ r \sim 2^k \ln k / k $ を超えてランダムk-SATを効率的に解くことはできないことが示された。これは、小規模な $ k $ に対しては実験的に成功しているが、その背後には理論的根拠がないことを示している。
• 証明は、影響行列のスペクトルノルムを制御し、凍結状態の領域では変数ペアの相関がアルゴリズムの制御を超えて増大することを示している。