[논문 리뷰] Distributed Symmetry Breaking in Sampling (Optimal Distributed Randomly Coloring with Fewer Colors)

Weiming Feng, Thomas P. Hayes외 1명|arXiv (Cornell University)|2018. 02. 20.

Markov Chains and Monte Carlo Methods참고 문헌 37인용 수 12

한 줄 요약

이 논문은 일반 그래프에서 거의 균일한 색칠을 위한 분산 MCMC 방법인 레이지 로컬 메트로폴리스 알고리즘을 제안한다. 분산 대칭 해제를 로컬 메트로폴리스 필터링 프레임워크에 통합함으로써, 일반 그래프의 경우 q ≥ (2 + δ)∆, 고원형 및 고도 그래프의 경우 q ≥ (α* + δ)∆ (α* ≈ 1.763) 조건 하에 최적의 O(log n) 혼합 시간을 달성하며, 이는 이전의 병렬화된 글라우버 다이내믹스에서 발생하는 Ω(∆)의 속도 저하 요인을 제거함으로써 기존 방법을 능가한다.

ABSTRACT

Markov Chain Monte Carlo (MCMC) algorithms are a widely-used algorithmic tool for sampling from high-dimensional distributions, a notable example is the equilibirum distribution of graphical models. The Glauber dynamics, also known as the Gibbs sampler, is the simplest example of an MCMC algorithm; the transitions of the chain update the configuration at a randomly chosen coordinate at each step. Several works have studied distributed versions of the Glauber dynamics and we extend these efforts to a more general family of Markov chains. An important combinatorial problem in the study of MCMC algorithms is random colorings. Given a graph G of maximum degree Δ and an integer k ≥ Δ+1, the goal is to generate a random proper vertex k-coloring of G. Jerrum (1995) proved that the Glauber dynamics has O(nlog{n}) mixing time when k > 2Δ. Fischer and Ghaffari (2018), and independently Feng, Hayes, and Yin (2018), presented a parallel and distributed version of the Glauber dynamics which converges in O(log{n}) rounds for k > (2+ε)Δ for any ε > 0. We improve this result to k > (11/6-δ)Δ for a fixed δ > 0. This matches the state of the art for randomly sampling colorings of general graphs in the sequential setting. Whereas previous works focused on distributed variants of the Glauber dynamics, our work presents a parallel and distributed version of the more general flip dynamics presented by Vigoda (2000) (and refined by Chen, Delcourt, Moitra, Perarnau, and Postle (2019)), which recolors local maximal two-colored components in each step.

연구 동기 및 목표

• 일반적인 그래프의 거의 균일한 색칠을 위한 분산 샘플링 알고리즘을 개발하여, 최적의 병렬 처리 속도 향상을 달성한다.
• 특히 원형이 크고 차수가 높은 그래프에 대해 이전의 병렬 MCMC 방법에서 사용된 (2 + δ)∆ 이하의 색 수 q를 낮추는 것.
• 이전의 병렬 글라우버 다이내믹스에서 발생하는 본질적인 Ω(∆) 시간 패널티를 제거하기 위해, 새로운 분산 대칭 해제 단계를 도입함으로써 이를 해결한다.
• 개선된 색 수 조건 하에서 최적의 O(log n) 혼합 시간을 달성하며, 메시지 전달 분산 알고리즘의 이론적 하한선과 일치시킨다.

제안 방법

• 로컬 메트로폴리스 필터링 철학을 확장한 새로운 대칭 해제 단계를 통합한 분산 MCMC 샘플러인 레이지 로컬 메트로폴리스 알고리즘을 제안한다.
• 각 정점은 독립적으로 무작위 색을 제안하고, 이웃 정점의 색상에 기반한 국소 수락 규칙을 적용하며, 간섭을 줄이기 위해 지연 업데이트 메커니즘을 사용한다.
• 해밍 거리의 경계를 설정하기 위해 신중하게 구성된 커플링 기법을 사용한 경로 커플링 추론을 수행한다.
• 두 단계 분석을 도입한다: [0, Tb] 구간의 버닝 인 단계 동안 불일치를 줄이고, [Tb, Tm] 구간의 수축 단계 동안 매 라운드마다 불일치가 일정 요인만큼 감소한다.
• 비표준(나쁜) 사건이 지수적으로 작은 확률로 발생함을 보여주는 불일치 침투 추론을 사용하여 농도 한계를 확보한다.
• 정교한 커플링을 적용하여, 좋은 사건 조건 하에서 서로 다른 정점의 수가 매 라운드마다 일정 요인만큼 감소함을 보여주며, 이로 인해 O(log n) 혼합 시간을 도출한다.

실험 결과

연구 질문

• RQ1 이전의 (2 + δ)∆ 기준 이하의 색 수를 사용하면서도, 일반 그래프에 대해 분산 MCMC 샘플링의 혼합 시간을 O(log n)으로 줄일 수 있는가?
• RQ2 로컬 메트로폴리스 프레임워크에 분산 대칭 해제를 도입함으로써 더 빠른 혼합 시간과 향상된 색 수 조건을 달성할 수 있는가?
• RQ3 원형이 크고 최대 차수가 높은 그래프에 대해 q ≥ (α* + δ)∆ 조건 하에 α* ≈ 1.763 이며 α* = e^{1/α*} 를 만족할 때, 알고리즘이 최적의 O(log n) 혼합 시간을 달성할 수 있는가?
• RQ4 q = O(∆) 조건 하에서 메시지 전달 분산 알고리즘의 O(log n) 혼합 시간이 최적일 수 있는가?
• RQ5 로컬이고 비동기적인 업데이트 조건 하에서, 분산 환경에서 경로 커플링을 어떻게 적응시킬 수 있는가?

주요 결과

• 일반 그래프에서 q ≥ (2 + δ)∆ 조건 하에 레이지 로컬 메트로폴리스 알고리즘이 O(log n) 혼합 시간을 달성하며, 순차적 글라우버 다이내믹스의 최적 속도 향상과 일치한다.
• 원형 ≥9이고 충분히 큰 최대 차수 ∆ ≥ ∆₀(δ)를 가진 그래프에 대해, 개선된 조건 q ≥ (α* + δ)∆ (α* ≈ 1.763, α* = e^{1/α*}) 하에서 알고리즘이 O(log n) 혼합 시간을 달성한다.
• 이전의 로컬 메트로폴리스 알고리즘에 비해 필요한 색 수를 줄이며, Θ(∆)의 속도 저하 패널티 없이 최적의 병렬 처리를 달성한다.
• 혼합 시간이 메시지 전달 분산 알고리즘에 대해 최적임을 증명하였으며, q = O(∆) 조건 하에서 O(log n)이 가능한 최선의 결과임을 보여준다.
• 높은 확률로, 수축 단계 동안 두 커플드 체인 간의 해밍 거리가 매 라운드마다 일정 요인만큼 감소함을 분석을 통해 입증하였으며, 이는 로그 수준의 수렴을 이끈다.
• 불일치가 퍼지거나 색 사용 가능성이 낮은 비표준(나쁜) 사건의 발생 확률이 지수적으로 작음을 입증하여 측도의 농도를 보장한다.