[논문 리뷰] HOGWILD!-Gibbs can be PanAccurate

Constantinos Daskalakis, Nishanth Dikkala외 1명|arXiv (Cornell University)|2018. 11. 26.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 HOGWILD!-Gibbs, 이는 이방성 Gibbs 샘플링 방법으로, 도브루시닌 조건 하에서 그래픽 모델의 모든 변수에 대한 다항함수의 기대값을 정확하게 추정할 수 있음을 보여준다. 동기 및 이방성 샘플러를 결합하여, 샘플 간의 기대 허밍 거리가 변수 수에 대해 로그적으로만 증가함을 증명함으로써, 이차 함수에 대해 $ O(√n) $의 편향 범위를 확보하게 되었으며, 이는 이전의 $ O(n) $ 편향 범위에 비해 크게 향상된 결과이다.

ABSTRACT

Asynchronous Gibbs sampling has been recently shown to be fast-mixing and an accurate method for estimating probabilities of events on a small number of variables of a graphical model satisfying Dobrushin's condition~\cite{DeSaOR16}. We investigate whether it can be used to accurately estimate expectations of functions of {\em all the variables} of the model. Under the same condition, we show that the synchronous (sequential) and asynchronous Gibbs samplers can be coupled so that the expected Hamming distance between their (multivariate) samples remains bounded by $O(τ\log n),$ where $n$ is the number of variables in the graphical model, and $τ$ is a measure of the asynchronicity. A similar bound holds for any constant power of the Hamming distance. Hence, the expectation of any function that is Lipschitz with respect to a power of the Hamming distance, can be estimated with a bias that grows logarithmically in $n$. Going beyond Lipschitz functions, we consider the bias arising from asynchronicity in estimating the expectation of polynomial functions of all variables in the model. Using recent concentration of measure results, we show that the bias introduced by the asynchronicity is of smaller order than the standard deviation of the function value already present in the true model. We perform experiments on a multi-processor machine to empirically illustrate our theoretical findings.

연구 동기 및 목표

• 그래픽 모델의 모든 변수에 대한 함수 기대값을 작고 부분집합 뿐 아니라 전체적으로 정확하게 추정할 수 있는지 조사하는 것.
• 특히 다항함수일 경우, 모든 변수의 함수를 추정할 때 이방성에 의해 유도되는 편향을 분석하는 것.
• 집중도 측정 및 커플링 기법을 활용하여 이전의 리프시츠 기반 오차 경계를 개선하는 것.
• 이sov-웨이즈 및 격자 이징 모델에서 이론적으로 유도된 편향 경계를 경험적 실험을 통해 검증하는 것.

제안 방법

• 동기 및 이방성 Gibbs 샘플러를 커플링하여 다변량 샘플 간의 기대 허밍 거리 경계를 설정하는 것.
• 기대 허밍 거리에 대해 $ O(\tau \log n) $의 경계를 유도하는 것. 여기서 $ \tau $는 평균 경쟁도를 측정하고 $ n $은 변수의 수이다.
• 허밍 거리의 $ d $ 제곱에 대해 경계를 확장하여 $ \mathbb{E}[\text{Hamming}^d] \leq C(d,\tau) \log^d n $를 도출하는 것.
• 집중도 측정 결과(예: [DDK17, GLP17, GSS18])를 적용하여, 이방성으로 인한 편향이 다항함수의 본질적 표준편차보다 작다는 것을 보이는 것.
• 정리 4 및 정리 6를 사용하여 순차적 및 이방성 샘플러 간의 차수-$ d $ 다항함수 기대값 차이를 경계하는 것.
• 4×10코어 머신에서 Curie-Weiss 및 격자 이징 모델을 사용하여 실험적으로 이론적 결과를 검증하는 것. 여기서 $ \alpha = 0.5 $이다.

실험 결과

연구 질문

• RQ1 도브루시닌 조건 하에서 HOGWILD!-Gibbs는 그래픽 모델의 모든 변수에 대한 함수 기대값을 정확하게 추정할 수 있는가?
• RQ2 모든 변수의 다항함수를 추정할 때 이방성에 의해 발생하는 편향은 무엇이며, 이는 함수의 리프시츠 상수에 독립적으로 경계될 수 있는가?
• RQ3 동기 및 이방성 Gibbs 샘플러 간의 기대 허밍 거리는 $ n $에 대해 비선형적으로 증가하는가? 만약 그렇다면, 그 증가 비율은 어떻게 되는가?
• RQ4 집중도 측정 결과를 활용하여, 이방성으로 인한 편향이 진정한 모델에서 함수의 표준편차에 비해 무시할 만큼 작은지를 보일 수 있는가?
• RQ5 이징 모델에서의 경험적 결과는 이차 함수에 대해 $ O(\sqrt{n}) $의 이론적 편향 경계를 확인하는가?

주요 결과

• 동기 및 이방성 Gibbs 샘플러의 샘플 간 기대 허밍 거리는 $ O(\tau \log n) $ 이하로 경계되며, 여기서 $ \tau $는 평균 경쟁도이고 $ n $은 변수의 수이다.
• 모든 변수에 대해 허밍 거리의 $ d $ 제곱에 대해 $ K $-리프시츠인 함수의 기대값 편향은 $ K \cdot C(d,\tau) \log^d n $ 이하로 경계된다.
• 이징 모델에서의 이차 함수에 대해, 이전 리프시츠 분석에서의 $ O(n) $ 편향이 $ O(\sqrt{n}) $으로 감소하여 크게 향상되었다.
• 차수-$ d $ 다항함수의 기대값 편향은 $ C_4(d,\alpha,\tau)(n \log n)^{(2d-1)/2} $ 이하로 경계되며, 이는 진정한 모델에서 함수의 표준편차보다 작다.
• Curie-Weiss 및 격자 이징 모델에서의 경험적 결과는 HOGWILD! 평균값이 $ O(\sqrt{n}) $ 크기의 오차 바깥에 포함되어 있음을 확인하여 이론적 편향 경계를 검증한다.
• 평균 읽기 지연 $ \tau $는 $ n $에 대해 일정하게 유지되며, 이는 실질적인 이방성 환경에서 $ \tau $가 상수로 간주될 수 있다는 모델 가정을 뒷받침한다.