[论文解读] Uniform Sampling through the Lovász Local Lemma

Heng Guo, Mark Jerrum+1 more|arXiv (Cornell University)|Nov 5, 2016

Markov Chains and Monte Carlo Methods参考文献 29被引用 7

一句话总结

本文提出了一种新颖的算法框架——'部分拒绝采样'（partial rejection sampling），该框架在利用洛瓦兹局部大数定理（Lovász Local Lemma）的条件下，实现了对乘积分布的精确、均匀采样，且能避免坏事件。研究证明，在极端条件下——即依赖的坏事件两两不相交时——Moser-Tardos 重采样过程可产生均匀样本，并将该结果推广至更广泛的问题类别，包括 $k$-CNF 公式和加权独立集，其预期运行时间被证明是高效的，且与 Shearer 的条件一致。

ABSTRACT

We propose a new algorithmic framework, called "partial rejection sampling", to draw samples exactly from a product distribution, conditioned on none of a number of bad events occurring. Our framework builds (perhaps surprising) new connections between the variable framework of the Lovász Local Lemma and some classical sampling algorithms such as the "cycle-popping" algorithm for rooted spanning trees. Among other applications, we discover new algorithms to sample satisfying assignments of k-CNF formulas with bounded variable occurrences.

研究动机与目标

• 为解决在洛瓦兹局部大数定理下均匀采样存在的问题，即现有重采样算法输出存在偏差。
• 建立条件以证明 Moser-Tardos 算法在依赖坏事件两两不相交的极端情形下输出均匀分布的解。
• 通过引入动态重采样集合，将该框架推广至非极端情形，通过迭代闭包依赖关系确保均匀性。
• 在满足 Shearer 准则的条件下，为 $k$-CNF 公式和加权独立集等难题提供精确、高效的采样器。
• 将经典的采样算法（如环弹出法和汇点弹出法）统一于基于部分拒绝采样的单一理论框架之下。

提出的方法

• 提出 '部分拒绝采样'——一种拒绝采样的变体，其重采样的是与依赖坏事件相关的整个变量集合，而非单个变量。
• 引入递归重采样规则：从发生坏事件开始，迭代包含其邻近事件，这些事件的变量投影仍可能被违反，从而形成一个闭合的重采样集合。
• 使用依赖图建模事件间交互关系，确保重采样集合在依赖闭包下保持闭合，以维持均匀性。
• 将该框架应用于 $k$-CNF 公式，将坏事件定义为子句，并证明在变量出现次数有界且满足极端条件时，可实现均匀采样。
• 通过递推关系和特征值分析推导出显式的预期运行时间界，其结果与 Kolipaka 和 Szegedy 在 Shearer 条件下的上界一致。
• 采用矩阵范数与集中性论证（基于 Chernoff 不等式），证明输出分布与真实硬核模型的偏差意味着非均匀性，从而为任意精确采样器建立运行时间下界。

实验结果

研究问题

• RQ1 在何种条件下，Moser-Tardos 重采样算法能产生均匀分布的解，而非有偏解？
• RQ2 能否构建一个通用框架，使在洛瓦兹局部大数定理的变量框架下，即使在非极端情形下，也能实现精确均匀采样？
• RQ3 部分拒绝采样能否将已知的精确采样算法（如环弹出法和汇点弹出法）统一于同一理论基础之下？
• RQ4 所提采样器在 $k$-CNF 公式和加权独立集上的预期运行时间是多少？是否与已知理论上的上界一致？
• RQ5 能否证明：任何精确采样算法在图上的硬核模型中，其运行时间下界必须随输入规模对数增长，即使对近似采样器也是如此？

主要发现

• 当所有依赖的坏事件两两不相交（极端情形）时，Moser-Tardos 算法产生均匀分布的解，该结论已在定理 8 中证明。
• 所提出的部分拒绝采样算法可确保在所有避免坏事件的有效赋值中实现精确均匀性，如定理 24 所形式化。
• 对于加权独立集（硬核模型），当条件匹配唯一性阈值时，算法在期望线性时间内运行，仅相差一个常数因子。
• 该算法的预期运行时间与 Kolipaka 和 Szegedy 在 Shearer 条件下的上界一致，其显式公式为 $| ext{det } W_k| = (1+o(1))A_ u^{-2} ho^k$，其中 $ ho < 1$ 仅依赖于模型参数。
• 任何在图上对硬核模型的精确采样算法，其期望运行时间至少为 $rac{1}{3}t$，其中 $t$ 是满足 $ ext{Pr}(T eq t) < rac{2}{3}$ 的阈值，表明存在非平凡的下界。
• 采用 $L = ilde{ heta}( ext{polylog } n)$ 轮的算法变体，若输出在矩阵元素上偏离超过 $n^{-1/3}$，则总变差距离将达到 $1 - o(1)$，证明非均匀性意味着效率低下。