[論文レビュー] Distributed Symmetry Breaking in Sampling (Optimal Distributed Randomly Coloring with Fewer Colors)

Weiming Feng, Thomas P. Hayes+1 more|arXiv (Cornell University)|Feb 20, 2018

Markov Chains and Monte Carlo Methods参考文献 37被引用数 12

ひとこと要約

本稿では、一般のグラフにおける適切なq色分けのほぼ一様サンプリングのための分散MCMC手法として、Lazy Local Metropolisアルゴリズムを提案する。分散型の対称性の破壊を局所的Metropolisフィルタリングフレームワークに統合することで、一般のグラフではq ≥ (2 + δ)∆、高周期・高次数のグラフではq ≥ (α* + δ)∆（α* ≈ 1.763）というより良い色数の条件下で、最適なO(log n)混合時間の達成を実現した。これは、従来の並列化Glauberダイナミクスと比較して、Ω(∆)の遅延要因を排除した結果である。

ABSTRACT

Markov Chain Monte Carlo (MCMC) algorithms are a widely-used algorithmic tool for sampling from high-dimensional distributions, a notable example is the equilibirum distribution of graphical models. The Glauber dynamics, also known as the Gibbs sampler, is the simplest example of an MCMC algorithm; the transitions of the chain update the configuration at a randomly chosen coordinate at each step. Several works have studied distributed versions of the Glauber dynamics and we extend these efforts to a more general family of Markov chains. An important combinatorial problem in the study of MCMC algorithms is random colorings. Given a graph G of maximum degree Δ and an integer k ≥ Δ+1, the goal is to generate a random proper vertex k-coloring of G. Jerrum (1995) proved that the Glauber dynamics has O(nlog{n}) mixing time when k > 2Δ. Fischer and Ghaffari (2018), and independently Feng, Hayes, and Yin (2018), presented a parallel and distributed version of the Glauber dynamics which converges in O(log{n}) rounds for k > (2+ε)Δ for any ε > 0. We improve this result to k > (11/6-δ)Δ for a fixed δ > 0. This matches the state of the art for randomly sampling colorings of general graphs in the sequential setting. Whereas previous works focused on distributed variants of the Glauber dynamics, our work presents a parallel and distributed version of the more general flip dynamics presented by Vigoda (2000) (and refined by Chen, Delcourt, Moitra, Perarnau, and Postle (2019)), which recolors local maximal two-colored components in each step.

研究の動機と目的

• 一般のグラフにおける適切なq色分けのほぼ一様サンプリングに対して、最適な並列スループットを達成する分散サンプリングアルゴリズムの開発。
• 特に周期が大きく、次数が高いグラフに対して、従来の並列MCMC手法で用いられる(2 + δ)∆の閾値を下回る色数qの必要最小限を削減すること。
• 従来の並列Glauberダイナミクスに内在するΩ(∆)の時間的ペナルティを克服するため、新しい分散型対称性破壊ステップを導入すること。
• より良い色数の条件下で、最適なO(log n)混合時間の達成を実現し、メッセージ渡し分散アルゴリズムの理論的下界に一致させること。

提案手法

• 局所的Metropolisフィルタリングのパラダイムを拡張し、新たな対称性破壊ステップを導入した分散MCMCサンプラーとして、Lazy Local Metropolisアルゴリズムを提案する。
• 各頂点は独立にランダムな色を提案し、隣接頂点の色の状態に基づいた局所的受容ルールを適用する。干渉を低減するため、更新を遅延させるメカニズムを採用する。
• ハミング距離を2つの結合したマルコフ連鎖間の距離として抑えられるように、巧みに構築された結合スキームを用いたパスカップリングの議論を採用する。
• 2段階の解析を導入する：[0, Tb]のバーニング段階で不一致を減少させ、[Tb, Tm]の収縮段階で各ラウンドごとに不一致が定数倍に縮小する。
• 非典型（悪い）事象が指数的に小さい確率で発生することを示すために、不一致の拡散（percolation）の議論を用いる。これにより集中不等式が得られる。
• 洗練された結合手法を用いて、良好な事象下では、各ラウンドごとに異なる頂点数の期待値が定数倍に減少することを示し、結果としてO(log n)の混合時間が得られることを証明する。

実験結果

リサーチクエスチョン

• RQ1 従来の(2 + δ)∆の閾値を下回る色数で、適切なq色分けの分散MCMCサンプリングの混合時間をO(log n)にまで短縮することは可能か？
• RQ2 局所的Metropolisフレームワークに分散型対称性破壊を導入することで、より速い混合時間と改善された色数の条件が達成可能か？
• RQ3 周期が大きく、最大次数が大きいグラフに対して、q ≥ (α* + δ)∆（α* ≈ 1.763）の条件下で、アルゴリズムが最適なO(log n)混合時間を達成できるか？
• RQ4 q = O(∆)のとき、メッセージ渡し分散アルゴリズムにおいてO(log n)の混合時間は最適か？
• RQ5 局所的かつ非同期的な更新を伴う分散環境下で、パスカップリングをどのように適合させ、収束性を解析できるか？

主な発見

• 一般のグラフにおいて、q ≥ (2 + δ)∆の条件下で、Lazy Local MetropolisアルゴリズムはO(log n)の混合時間を達成し、逐次的Glauberダイナミクスの最適なスループットを再現した。
• 周期≥9で十分に大きな最大次数∆ ≥ ∆₀(δ)を満たすグラフでは、q ≥ (α* + δ)∆（α* ≈ 1.763）というより良い条件の下で、O(log n)の混合時間を達成した。ここでα*はα* = e^{1/α*}を満たす。
• 従来のLocal Metropolisアルゴリズムに比べ、必要な色数を削減し、Θ(∆)の遅延ペナルティなしに最適な並列化を実現した。
• 混合時間がメッセージ渡し分散アルゴリズムにおいて最適であることが証明された。q = O(∆)の下ではO(log n)が最良の可能性である。
• 高い確率で、収縮段階において2つの結合したマルコフ連鎖間のハミング距離が各ラウンドごとに定数倍に減少することが示され、対数的収束が得られた。
• 不一致が拡散する、または色の利用可能性が低いといった非典型（悪い）事象の発生確率が指数的に小さいことが示され、測度の集中性が保証された。