[논문 리뷰] What can be sampled locally?

Weiming Feng, Yuxin Sun외 1명|arXiv (Cornell University)|2017. 02. 01.

Markov Chains and Monte Carlo Methods참고 문헌 49인용 수 5

한 줄 요약

이 논문은 최대 차수 $\Delta \geq 6$ 를 가진 그래프에서 국소적으로 정의된 결합 분포—마르코프 무작위 필드(MRFs)와 지브스 분포로 모델링됨—가 분산 $Δ$-LOCAL 모델에서 효율적으로 샘플링 가능한지 조사한다. 두 가지 분산 샘플링 알고리즘인 LubyGlauber와 LocalMetropolis를 제안하여 각각 $O(Δ\log n)$ 및 $O(\log n)$ 혼합 시간을 달성하고, 샘플링에 대해 엄밀한 $\Theta(\log n)$ 하한을 증명함으로써 국소적 샘플링과 국소적 구성 간의 강력한 분리 현상을 입증한다.

ABSTRACT

The local computation of Linial [FOCS'87] and Naor and Stockmeyer [STOC'93] concerns with the question of whether a locally definable distributed computing problem can be solved locally: for a given local CSP whether a CSP solution can be constructed by a distributed algorithm using local information. In this paper, we consider the problem of sampling a uniform CSP solution by distributed algorithms, and ask whether a locally definable joint distribution can be sampled from locally. More broadly, we consider sampling from Gibbs distributions induced by weighted local CSPs in the LOCAL model. We give two Markov chain based distributed algorithms which we believe to represent two fundamental approaches for sampling from Gibbs distributions via distributed algorithms. The first algorithm generically parallelizes the single-site sequential Markov chain by iteratively updating a random independent set of variables in parallel, and achieves an $O(Δ\log n)$ time upper bound in the LOCAL model, where $Δ$ is the maximum degree, when the Dobrushin's condition for the Gibbs distribution is satisfied. The second algorithm is a novel parallel Markov chain which proposes to update all variables simultaneously yet still guarantees to converge correctly with no bias. It surprisingly parallelizes an intrinsically sequential process: stabilizing to a joint distribution with massive local dependencies, and may achieve an optimal $O(\log n)$ time upper bound independent of the maximum degree $Δ$ under a stronger mixing condition. We also show a strong $Ω(diam)$ lower bound for sampling independent set in graphs with maximum degree $Δ\ge 6$. This lower bound holds even when every node is aware of the graph. This gives a strong separation between sampling and constructing locally checkable labelings.

연구 동기 및 목표

• 제약 만족 문제(CSPs)에서 유도되는 국소적으로 정의된 결합 분포가 분산 네트워크에서 오직 국소 정보만을 사용하여 샘플링 가능한지 확인하는 것.
• $Δ$-LOCAL 모델에서 분산 샘플링의 기본 한계를 조사하고, 특히 탇성 가능한 해를 국소적으로 계산하는 것과의 비교를 통해 분석하는 것.
• 분산 환경에서 MRF 및 지브스 분포에서의 샘플링에 대한 엄밀한 시간 복잡도 하한을 설정하는 것.
• 같은 해공간에서 균일하거나 가중된 해를 샘플링하는 것과 국소적으로 확인 가능한 레이블링(LCL)을 구성하는 것 사이의 복잡도 간 강력한 분리를 입증하는 것.
• 해공간 내 장거리 상관관계의 역할과 그들이 샘플링 알고리즘의 국소성에 미치는 영향을 분석하는 것.

제안 방법

• 모든 간선과 정점에서 국소 요소의 곱에 비례하는 구성의 확률을 갖는 마르코프 무작위 필드(MRFs)와 지브스 분포를 사용하여 국소적으로 정의된 결합 분포를 모델링한다.
• Dobrushin 조건 하에서 $O(\Delta\log n)$ 혼합 시간을 달성하는 분산 Glauber 동역학 기반 샘플러인 LubyGlauber 알고리즘을 제안하며, 정점 상태는 국소 조건부 분포에 기반해 업데이트된다.
• 더 강력한 혼합 조건 하에서 $O(\log n)$ 혼합 시간을 달성하는 새로운 분산 메트로폴리스-해스팅스 샘플러인 LocalMetropolis 알고리즘을 도입한다.
• 결합 기법과 경로 결합을 활용하여 혼합 시간 하한을 증명하며, 기반 그래프의 구조와 MRF 내 의존성의 감쇠 특성을 활용한다.
• 최대 컷 문제와 하드코어 분포를 기반으로 한 어려운 예시를 사용하여, 정확한 샘플링을 위해 필요한 라운드 수에 대해 $\Omega(\mathrm{diam})$ 하한을 확립한다.
• 공간 마르코프 모델에 대해 지브스 분포의 일반성과 타당성을 보장하기 위해 허머슬리-클리포드 정리를 적용한다.

실험 결과

연구 질문

• RQ1 국소적으로 정의된 CSP의 균일하거나 가중된 해를 $Δ$-LOCAL 모델에서 오직 국소 정보만을 사용하여 효율적으로 샘플링할 수 있는가?
• RQ2 MRF 위의 지브스 분포에 대한 분산 샘플링의 최적 시간 복잡도는 무엇이며, 간단한 국소 업데이트 규칙으로 달성 가능한가?
• RQ3 같은 해공간에서 타당한 해를 구성하는 것과 균일한 해를 샘플링하는 것 사이에 본질적인 복잡도 격차가 존재하는가?
• RQ4 해공간 내 장거리 상관관계는 샘플링 알고리즘의 국소성에 어떤 영향을 미치며, 이를 정보 이론적 또는 결합 기반 추론으로 정량화할 수 있는가?
• RQ5 진정한 분포와의 총 변동 거리가 작을 경우, 분산 알고리즘이 지브스 분포에서 샘플링하기 위해 필요한 최소한의 라운드 수는 무엇인가?

주요 결과

• Dobrushin 조건 하에서 LubyGlauber 알고리즘은 $O(\Delta\log n)$ 혼합 시간을 달성하며, 이는 많은 국소적으로 정의된 분포가 정점 수에 대해 다항 로그 시간 내에 샘플링 가능하다는 것을 증명한다.
• 더 강력한 혼합 조건 하에서 LocalMetropolis 알고리즘은 최적의 $O(\log n)$ 혼합 시간을 달성하며, 이는 해공간이 충분한 국소 혼합 성질을 갖는 경우 효율적인 국소 샘플링이 가능하다는 것을 시사한다.
• 일반적인 그래프에서 일정 정확도 샘플링에 대해 $O(\log n)$ 라운드가 필수적이고 충분한 것으로 밝혀진, 광범위한 MRF 클래스에 대해 엄밀한 $\Theta(\log n)$ 하한이 확립되었다.
• 비유일성 영역에서 최대 차수 $\Delta \geq 6$ 인 그래프에서 가중된 독립 집합을 샘플링하기 위해 $\Omega(\mathrm{diam})$ 하한이 증명되었으며, 이는 샘플링이 구성보다 본질적으로 더 어렵다는 것을 시사한다.
• 논문은 국소 샘플링과 국소 구성 간의 강력한 분리를 입증한다: 최대 독립 집합은 $O(\log^* n)$ 라운드 내에 구성 가능하지만, 독립 집합 위의 균일 분포에서 샘플링은 전체 그래프 구조를 알고 있더라도 $\Omega(\mathrm{diam})$ 라운드가 필요하다.
• 샘플링의 어려움은 지식 부족 때문이 아니라, 국소 알고리즘이 하중선 라운드 이내에 포착할 수 없는 목표 분포 내 본질적 장거리 상관관계 때문임을 입증한다.