[論文レビュー] Solving Constraint Satisfaction Problems through Belief Propagation-guided decimation

Andrea Montanari, Federico Ricci‐Tersenghi+1 more|arXiv (Cornell University)|Sep 11, 2007

Constraint Satisfaction and Optimization参考文献 25被引用数 56

ひとこと要約

本稿は、ランダムk-SAT問題を解くために、木構造モデルを用いてその性能を解析的に予測する、信念除去ガイドド・デシメーションアルゴリズムを提案する。このアルゴリズムは、α_spin(k)未満の密度において正の確率で成功すると予想されており、特にk ≥ 4の場合に数値シミュレーションがその予測を支持している。

ABSTRACT

Message passing algorithms have proved surprisingly successful in solving hard constraint satisfaction problems on sparse random graphs. In such applications, variables are fixed sequentially to satisfy the constraints. Message passing is run after each step. Its outcome provides an heuristic to make choices at next step. This approach has been referred to as `decimation,' with reference to analogous procedures in statistical physics. The behavior of decimation procedures is poorly understood. Here we consider a simple randomized decimation algorithm based on belief propagation (BP), and analyze its behavior on random k-satisfiability formulae. In particular, we propose a tree model for its analysis and we conjecture that it provides asymptotically exact predictions in the limit of large instances. This conjecture is confirmed by numerical simulations.

研究の動機と目的

• 信念除去ガイドド・デシメーションの動作を、ランダム制約充足問題を解く際に理解すること。
• 大規模なランダムインスタンスにおいて、このようなアルゴリズムの成功確率を予測する理論的枠組みを構築すること。
• 一般化密度発展に基づく木モデルが、nが非常に大きい極限におけるアルゴリズムのダイナミクスを正確に記述するとの仮説を提示すること。
• 変数の伝搬が無限に拡大する原因となる、アルゴリズムが失敗する閾値α_spin(k)を特定すること。
• BPガイドド・デシメーションの性能を、既知のヒューリスティクスや厳密な境界と比較すること。

提案手法

• 信念除去（BP）マージナルに基づいて反復的に変数を固定する確率的デシメーションアルゴリズムを提案する。
• 大規模なランダムk-SATインスタンスにおける変数固定とメッセージ伝搬の進化を表現するための木モデルを導入する。
• 木モデルを分析するための密度発展の一般化を用い、矛盾に至るまでの固定変数の割合を計算する。
• 変数のθ割合を固定した後の直接的に導かれる変数の期待数を表す関数φ(θ)を定義する。
• φ(θ)がθ*で不連続性を示すことが、無限に拡大する変数の伝搬によるアルゴリズムの失敗の主要な指標であると特定する。
• n = 500, 1000, 2000のランダム4-SATインスタンスにおける数値シミュレーションと予測を比較検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムk-SATにおける信念除去ガイドド・デシメーションの成功閾値α_spin(k)は何か？
• RQ2 木ベースのモデルは、大規模インスタンスの極限におけるアルゴリズムの動作を正確に予測できるか？
• RQ3 BPガイドド・デシメーションの失敗のメカニズムは何か？また、変数の伝搬の連鎖とどのように関係しているか？
• RQ4 BPガイドド・デシメーションの性能は、SCB や UCP といった既知のヒューリスティクスと比べてどうか？
• RQ5 α_spin(k)未満の範囲では、アルゴリズムの成功確率がゼロから離れていると予想できるか？

主な発見

• 変数密度α < α_spin(k)の場合、アルゴリズムは正の確率で成功する。シミュレーションではk=4の場合、この閾値は約8.05であると示唆されている。
• 失敗のメカニズムは、無限に拡大する直接的変数の伝搬に起因し、φ(θ)が不連続性を示すθ*で発生する。
• α < α_spin(4)の場合、平均停止時間は成功する実行に支配され、固定された変数の数はθ*のまわりに集中する。
• n=500, 1000, 2000のインスタンスにおける数値シミュレーションは、直接実行と木モデルからの予測の間で強い一致を示している。
• 木モデルは、α_spin(k)未満で正の成功確率を予測しており、kが大きい場合、α_spin(k)はe·2^k/kに漸近的に比例する。
• 本手法は、既知の厳密境界（例：k=4におけるSCBアルゴリズムの閾値5.54）に対して、定数倍の改善を示唆している。