[论文解读] Distributed Symmetry Breaking in Sampling (Optimal Distributed Randomly Coloring with Fewer Colors)

Weiming Feng, Thomas P. Hayes+1 more|arXiv (Cornell University)|Feb 20, 2018

Markov Chains and Monte Carlo Methods参考文献 37被引用 12

一句话总结

本文提出了懒惰局部 Metropolis 算法，一种用于图中几乎均匀采样合法 q-着色的分布式 MCMC 方法。通过将分布式对称性破缺整合到局部 Metropolis 过滤框架中，该方法在改进的颜色边界下实现了最优的 O(log n) 混合时间：对于一般图，q ≥ (2 + δ)∆；对于高围长、高阶数图，q ≥ (α* + δ)∆，其中 α* ≈ 1.763，优于以往并行化 Glauber 动态方法，消除了 Ω(∆) 的时间延迟因子。

ABSTRACT

Markov Chain Monte Carlo (MCMC) algorithms are a widely-used algorithmic tool for sampling from high-dimensional distributions, a notable example is the equilibirum distribution of graphical models. The Glauber dynamics, also known as the Gibbs sampler, is the simplest example of an MCMC algorithm; the transitions of the chain update the configuration at a randomly chosen coordinate at each step. Several works have studied distributed versions of the Glauber dynamics and we extend these efforts to a more general family of Markov chains. An important combinatorial problem in the study of MCMC algorithms is random colorings. Given a graph G of maximum degree Δ and an integer k ≥ Δ+1, the goal is to generate a random proper vertex k-coloring of G. Jerrum (1995) proved that the Glauber dynamics has O(nlog{n}) mixing time when k > 2Δ. Fischer and Ghaffari (2018), and independently Feng, Hayes, and Yin (2018), presented a parallel and distributed version of the Glauber dynamics which converges in O(log{n}) rounds for k > (2+ε)Δ for any ε > 0. We improve this result to k > (11/6-δ)Δ for a fixed δ > 0. This matches the state of the art for randomly sampling colorings of general graphs in the sequential setting. Whereas previous works focused on distributed variants of the Glauber dynamics, our work presents a parallel and distributed version of the more general flip dynamics presented by Vigoda (2000) (and refined by Chen, Delcourt, Moitra, Perarnau, and Postle (2019)), which recolors local maximal two-colored components in each step.

研究动机与目标

• 开发一种分布式采样算法，实现图的几乎均匀合法 q-着色的最优并行加速。
• 在以往并行 MCMC 方法使用的 (2 + δ)∆ 阈值基础上，进一步降低对颜色数 q 的要求，尤其适用于围长大、度数高的图。
• 通过引入一种新颖的分布式对称性破缺步骤，克服以往并行 Glauber 动态方法中固有的 Ω(∆) 时间惩罚。
• 在改进的颜色边界下实现最优 O(log n) 混合时间，与消息传递式分布式算法的理论下界一致。

提出的方法

• 提出懒惰局部 Metropolis 算法，一种扩展了局部 Metropolis 过滤范式的分布式 MCMC 采样器，并引入新的对称性破缺步骤。
• 每个顶点独立提出一个随机颜色，并基于邻居颜色应用局部接受规则，通过延迟更新机制减少干扰。
• 采用路径耦合论证法，结合精心构造的耦合方案，以界定两条耦合链之间的汉明距离。
• 引入两阶段分析：烧入阶段 [0, Tb] 用于减少不一致，随后的收缩阶段 [Tb, Tm] 中，每轮不一致程度按常数因子缩小。
• 使用不一致渗流论证法，证明非典型（坏）事件发生的概率呈指数级小，从而支持集中不等式。
• 应用精细化耦合方法，表明在良好事件下，每轮不同顶点的期望数量按常数因子减少，从而导致 O(log n) 混合时间。

实验结果

研究问题

• RQ1 能否在使用少于 (2 + δ)∆ 颜色的条件下，将分布式 MCMC 采样在合法 q-着色中的混合时间减少至 O(log n)？
• RQ2 在局部 Metropolis 框架中引入分布式对称性破缺，是否能实现更快的混合速度和更优的颜色边界？
• RQ3 对于围长大且最大度数高的图，当 q ≥ (α* + δ)∆ 且 α* ≈ 1.763 时，该算法能否实现最优的 O(log n) 混合时间？
• RQ4 当 q = O(∆) 时，O(log n) 混合时间是否为分布式消息传递算法的最优结果？
• RQ5 在局部、异步更新的分布式环境中，如何适配路径耦合方法以分析收敛性？

主要发现

• 当 q ≥ (2 + δ)∆ 时，懒惰局部 Metropolis 算法在一般图上实现了 O(log n) 混合时间，与顺序 Glauber 动态方法的最优加速效果一致。
• 对于围长大于等于 9 且最大度数 ∆ ≥ ∆₀(δ) 充分大的图，该算法在改进条件 q ≥ (α* + δ)∆ 下实现了 O(log n) 混合时间，其中 α* ≈ 1.763，且满足 α* = e^{1/α*}。
• 与局部 Metropolis 算法相比，该算法通过减少所需颜色数，实现了最优并行化，且无 Θ(∆) 时间延迟惩罚。
• 混合时间被证明对消息传递式分布式算法是最优的，因为当 q = O(∆) 时，O(log n) 是可能达到的最佳结果。
• 分析表明，以高概率，在收缩阶段每轮两条耦合链之间的汉明距离会按常数因子减少，从而实现对数收敛。
• 非典型（坏）事件——即不一致发生渗流或颜色可用性较低——发生的概率被证明呈指数级小，从而确保了测度的集中性。