[論文レビュー] Comparing Beliefs, Surveys and Random Walks

Erik Aurell, Uri Gordon+1 more|arXiv (Cornell University)|Jun 9, 2004

Constraint Satisfaction and Optimization参考文献 11被引用数 23

ひとこと要約

本稿は、ランダム3-SAT問題を解くための、信念伝搬（BP）、サーベイ伝搬（SP）、およびハイブリッド手法の統一的確率的導出を提示する。SPガイドドデシメーションがWSATの探索コストを数個のオーダー単位で低減することを示しており、容易な-SAT領域ではWSATコストがNに線形にスケーリングされ、困難な-SAT領域では解空間の構造を反映する。これにより、SAT/UNSATの遷移付近のスケールの大きな論理式の効率的解法が可能になる。

ABSTRACT

Survey propagation is a powerful technique from statistical physics that has been applied to solve the 3-SAT problem both in principle and in practice. We give, using only probability arguments, a common derivation of survey propagation, belief propagation and several interesting hybrid methods. We then present numerical experiments which use WSAT (a widely used random-walk based SAT solver) to quantify the complexity of the 3-SAT formulae as a function of their parameters, both as randomly generated and after simplification, guided by survey propagation. Some properties of WSAT which have not previously been reported make it an ideal tool for this purpose -- its mean cost is proportional to the number of variables in the formula (at a fixed ratio of clauses to variables) in the easy-SAT regime and slightly beyond, and its behavior in the hard-SAT regime appears to reflect the underlying structure of the solution space that has been predicted by replica symmetry-breaking arguments. An analysis of the tradeoffs between the various methods of search for satisfying assignments shows WSAT to be far more powerful that has been appreciated, and suggests some interesting new directions for practical algorithm development.

研究の動機と目的

• 確率論のみを用いて、信念伝搬、サーベイ伝搬、およびハイブリッド手法を統一すること。
• WSATを解空間構造のプローブとして用いて、ランダム3-SAT式の複雑さを定量化すること。
• SPガイドドデシメーションの計算コスト低減効果を評価すること。
• 困難な-SAT領域におけるヒューリスティックソルバとメッセージパッシングアルゴリズムのトレードオフを評価すること。

提案手法

• 条件付き確率の議論のみを用いて、信念伝搬（BP）とサーベイ伝搬（SP）を導出。メッセージを節の満たされる確率として扱う。
• 双方向のメッセージを定義：変数から節への「トランスポート」（変数が節を満たす確率）、および節から変数への「インフルエンス」（他の変数が節を満たす確率）。
• 反復的メッセージパッシング式を用いる：インフルエンス更新は他の変数のインフルエンスの積により、トランスポート更新はインフルエンスのベイズ結合により行われる。
• 高信頼度の真理値を持つ変数を凍結することでSPに基づくデシメーションを適用し、式のサイズと解空間の複雑さを低減する。
• 式の複雑さを分析するため、満たす割り当てを見つけるまでの中央値ステップ数を測定するWSATをコスト指標として用いる。
• N=10,000およびα=4.1, 4.2の式に対して数値実験を実施。SP+WSATとWSAT単体の比較を行い、タイミングとスケーリング解析を実施。

実験結果

リサーチクエスチョン

• RQ1 共通の確率的枠組みにおいて、信念伝搬とサーベイ伝搬はどのように関係するか？
• RQ2 ランダム3-SATにおける節-変数比αの関数として、WSATコストのスケーリング挙動はいかなるものか？
• RQ3 SPガイドドデシメーションは、3-SAT式の有効な複雑さをどの程度低減するか？
• RQ4 部分的デシメーションがなぜWSAT実行時間に予測不能な影響を与えるのか。また、SPが収束しなくなるまでのデシメーションの限界は何か？
• RQ5 WSATの性能は、複雑化理論による解空間構造の予測をどの程度反映しているか？

主な発見

• 容易な-SAT領域ではWSATコストがNに線形にスケーリングされ、かつわずかにそれ以上に、簡略化された式に対して効率的であることを示している。
• WSATの指数的コストの発生はα ≈ 4.15で観察され、log(N_onset)は(4.15−α)に対して強い漸近的依存を示す。
• SPガイドドデシメーションにより、元の式を解く場合と比較して、中央値のWSATコストが3〜4オーダー単位低減された。
• SPデシメーション後、残りのWSATコストは残りの変数数に線形にスケーリングされ、変数1つあたりのコストはわずかに2倍に増加する。
• N=10,000およびα=4.2の場合、SP+WSATは100の式を10,420秒（WSATで300秒）で解いたが、WSAT単体では27,771秒を要し、約50％の実行で失敗した。
• SPのコストは概ねN²に比例するが、デシメーション後のWSATコストはNに比例し続けるため、SPはスケーラブルな事前処理ステップであると示された。