[论文解读] HOGWILD!-Gibbs can be PanAccurate

Constantinos Daskalakis, Nishanth Dikkala+1 more|arXiv (Cornell University)|Nov 26, 2018

Neural Networks and Applications被引用 4

一句话总结

该论文表明，在多布鲁希尼条件（Dobrushin's condition）下，HOGWILD!-Gibbs——一种异步吉布斯采样方法——能够准确估计图形模型中所有变量上多项式函数的期望。通过耦合同步与异步采样器，证明了其多变量样本之间期望汉明距离的增长仅与变量数的对数成正比，从而实现了对二次函数的偏差界为 $ O(ar{m}) $，显著优于以往的 $ O(n) $ 偏差界。

ABSTRACT

Asynchronous Gibbs sampling has been recently shown to be fast-mixing and an accurate method for estimating probabilities of events on a small number of variables of a graphical model satisfying Dobrushin's condition~\cite{DeSaOR16}. We investigate whether it can be used to accurately estimate expectations of functions of {\em all the variables} of the model. Under the same condition, we show that the synchronous (sequential) and asynchronous Gibbs samplers can be coupled so that the expected Hamming distance between their (multivariate) samples remains bounded by $O(τ\log n),$ where $n$ is the number of variables in the graphical model, and $τ$ is a measure of the asynchronicity. A similar bound holds for any constant power of the Hamming distance. Hence, the expectation of any function that is Lipschitz with respect to a power of the Hamming distance, can be estimated with a bias that grows logarithmically in $n$. Going beyond Lipschitz functions, we consider the bias arising from asynchronicity in estimating the expectation of polynomial functions of all variables in the model. Using recent concentration of measure results, we show that the bias introduced by the asynchronicity is of smaller order than the standard deviation of the function value already present in the true model. We perform experiments on a multi-processor machine to empirically illustrate our theoretical findings.

研究动机与目标

• 探究 HOGWILD!-Gibbs 是否能够准确估计图形模型中所有变量上函数的期望，而不仅限于小部分子集。
• 分析在估计所有变量的多项式函数时，异步性引入的偏差，特别是对多项式函数的影响。
• 通过利用测度集中现象和耦合技术，改进基于利普希茨常数的先前误差界。
• 通过在 Curie-Weiss 和 Grid Ising 模型上的实验，验证理论推导出的偏差界。

提出的方法

• 通过耦合同步与异步吉布斯采样器，以界定其多变量样本之间期望汉明距离的上界。
• 推导出期望汉明距离的上界为 $ O(\tau \log n) $，其中 $ \tau $ 表示平均竞争程度，$ n $ 为变量数量。
• 将该界扩展至汉明距离的 $ d $ 次方，得到 $ \mathbb{E}[\text{Hamming}^d] \leq C(d,\tau) \log^d n $。
• 应用测度集中现象结果（如 [DDK17, GLP17, GSS18]），表明异步性引入的偏差小于多项式函数在真实模型中的固有标准差。
• 利用定理 4 和定理 6，界定顺序采样器与异步采样器在度数为 $ d $ 的多项式函数期望值之间的差异。
• 通过在 4×10 核机器上使用 Curie-Weiss 和 Grid Ising 模型（$ \alpha = 0.5 $）进行实验，验证理论结果。

实验结果

研究问题

• RQ1 在多布鲁希尼条件（Dobrushin’s condition）下，HOGWILD!-Gibbs 是否能够准确估计图形模型中所有变量上函数的期望？
• RQ2 在估计所有变量的多项式函数时，异步性引入的偏差是多少？该偏差能否独立于函数的利普希茨常数进行界定？
• RQ3 同步与异步吉布斯采样器之间的期望汉明距离是否随 $ n $ 的增长呈次线性？如果是，其增长方式如何？
• RQ4 是否可以利用测度集中现象结果，证明异步性引入的偏差相对于真实模型中函数的标准差可忽略不计？
• RQ5 在 Ising 模型上的实验结果是否验证了二次函数理论偏差界 $ O(ar{m}) $ 的正确性？

主要发现

• 同步与异步吉布斯采样器样本之间的期望汉明距离被界定为 $ O(\tau \log n) $，其中 $ \tau $ 为平均竞争程度，$ n $ 为变量数。
• 对于任意关于汉明距离 $ d $ 次方为 $ K $-利普希茨的函数，其期望偏差被界定为 $ K \cdot C(d,\tau) \log^d n $。
• 在 Ising 模型上，二次函数的偏差从先前基于利普希茨分析的 $ O(n) $ 降低至 $ O(ar{m}) $，实现显著改进。
• 对度数为 $ d $ 的多项式函数，其偏差被界定为 $ C_4(d,\alpha,\tau)(n \log n)^{(2d-1)/2} $，该值小于真实模型中函数的标准差。
• 在 Curie-Weiss 和 Grid Ising 模型上的实验结果表明，HOGWILD! 的均值落在 $ O(ar{m}) $ 的误差范围内，验证了理论偏差界。
• 平均读取延迟 $ \tau $ 随 $ n $ 变化保持恒定，支持了在实际异步设置中 $ \tau $ 为常数的模型假设。