[論文レビュー] Uniform Sampling through the Lovász Local Lemma

Heng Guo, Mark Jerrum+1 more|arXiv (Cornell University)|Nov 5, 2016

Markov Chains and Monte Carlo Methods参考文献 29被引用数 7

ひとこと要約

本稿は、Lovász Local Lemma を用いて、悪事象を避ける条件付きの積分布からの正確な一様抽出を可能にする、『部分的拒否サンプリング』と呼ばれる新しいアルゴリズム枠組みを導入する。極端な状況—依存する悪事象が互いに素である場合—において、Moser-Tardos の再サンプリングプロセスが一様なサンプルを生成することを証明し、$k$-CNF 公式や重み付き独立集合といったより広いクラスの問題へ一般化する。この一般化は、Shearer 条件を満たす場合に、実際に効率的な期待実行時間が保証される。

ABSTRACT

We propose a new algorithmic framework, called "partial rejection sampling", to draw samples exactly from a product distribution, conditioned on none of a number of bad events occurring. Our framework builds (perhaps surprising) new connections between the variable framework of the Lovász Local Lemma and some classical sampling algorithms such as the "cycle-popping" algorithm for rooted spanning trees. Among other applications, we discover new algorithms to sample satisfying assignments of k-CNF formulas with bounded variable occurrences.

研究の動機と目的

• 既存の再サンプリングアルゴリズムが偏った出力を生成するという、Lovász Local Lemma における一様サンプリングのギャップを埋める。
• Moser-Tardos アルゴリズムが一様に分布する解を出力する条件を確立する。特に、依存する悪事象が互いに素である極端な状況において。
• 依存関係の閉包を繰り返し適用する動的再サンプリング集合の導入により、極端な状況を超えた一般化を図る。
• 変数の出現回数が有界な $k$-CNF 公式や重み付き独立集合といった困難な問題に対して、Shearer の基準を満たす条件下で正確かつ効率的なサンプラーを提供する。
• サイクルポップやシンクポップといった古典的サンプリングアルゴリズムを、部分的拒否サンプリングに基づく統一的理論枠組みで統合する。

提案手法

• 依存する悪事象に関連する変数の集合を個々の変数ではなく、全体として再サンプリングする『部分的拒否サンプリング』を提案。
• 再帰的再サンプリングルールを導入：発生している悪事象から出発し、その変数の投影がまだ違反する可能性がある隣接する事象を順次含め、閉じた再サンプリング集合を形成する。
• 依存関係グラフを用いて事象の相互作用をモデル化し、再サンプリング集合が依存関係の閉包に関して閉じていることを保証することで、一様性を維持する。
• $k$-CNF 公式への適用では、悪事象を節として定義し、変数の出現回数が有界でかつ極端な条件が満たされる場合に一様サンプリングが可能であることを示す。
• 再帰関係と固有値解析を用いて期待実行時間の明示的バウンドを導出し、Shearer 条件下で Kolipaka と Szegedy の上界と一致することを示す。
• 行列ノルムと集中度の議論（Chernoff 界を用いて）を用い、出力分布が真のハードコアモデルから逸脱する場合、非一様性が生じることを証明し、任意の正確なサンプラーにおける実行時間の下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 Moser-Tardos の再サンプリングアルゴリズムが偏った出力ではなく一様に分布する解を生成するのはどのような条件下か？
• RQ2 Lovász Local Lemma の変数フレームワークにおいて、極端な状況を超えて、正確な一様サンプリングを可能にする一般枠組みを開発できるか？
• RQ3 部分的拒否サンプリングは、サイクルポップやシンクポップといった既知の正確なサンプリングアルゴリズムを、共通の理論的基盤の下に統合できるか？
• RQ4 提案されたサンプラーの $k$-CNF 公式および重み付き独立集合に対する期待実行時間は何か？ また、既知の理論的上界と一致するか？
• RQ5 任意の正確なサンプリングアルゴリズムが、近似サンプラーであっても、入力サイズの対数関数的に増加する実行時間の下界を持つことは証明可能か？

主な発見

• すべての依存する悪事象が互いに素である（極端な状況）場合、Moser-Tardos アルゴリズムは一様に分布する解を生成する。これは定理 8 で証明されている。
• 提案された部分的拒否サンプリングアルゴリズムは、悪事象を避けるすべての有効な割り当てに対して正確な一様性を保証する。これは定理 24 で形式化されている。
• 重み付き独立集合（ハードコアモデル）では、一意性閾値と一致する条件下で、期待線形時間で実行される。
• Shearer 条件下で、アルゴリズムの期待実行時間は Kolipaka と Szegedy の上界と一致し、明示的な式 $| ext{det } W_k| = (1+o(1))A_ u^{-2} ho^k$ で表される。ここで $ ho < 1$ はモデルパラメータにのみ依存する。
• グラフ上のハードコアモデルに対する任意の正確なサンプリングアルゴリズムは、期待実行時間が $rac{1}{3}t$ 以上でなければならない。ここで $t$ は $ ext{Pr}(T eq t) < rac{2}{3}$ を満たす閾値である。これは非自明な下界を示唆する。
• 出力が行列要素で $n^{-1/3}$ 以上にずれる場合、$L = ilde{ heta}( ext{polylog } n)$ ラウンドを用いたアルゴリズムの変種は、真の分布からの全変動距離が $1 - o(1)$ に達する。非一様性が非効率性を意味することを示している。