[论文解读] Communication-Efficient Distributed Statistical Inference

Michael I. Jordan, Jason D. Lee+1 more|arXiv (Cornell University)|May 25, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用 32

一句话总结

本文提出了通信高效代理似然（CSL）框架，这是一种统一的分布式统计推断方法，通过构建代理似然来降低通信成本。通过使用局部数据和初始估计器近似全局似然，CSL 实现了高效的最大似然估计（MLE）、正则化估计和贝叶斯推断，在低维和高维设置下均具备可证明的最优通信效率，并且统计精度损失最小。

ABSTRACT

We present a Communication-efficient Surrogate Likelihood (CSL) framework for solving distributed statistical inference problems. CSL provides a communication-efficient surrogate to the global likelihood that can be used for low-dimensional estimation, high-dimensional regularized estimation and Bayesian inference. For low-dimensional estimation, CSL provably improves upon naive averaging schemes and facilitates the construction of confidence intervals. For high-dimensional regularized estimation, CSL leads to a minimax-optimal estimator with controlled communication cost. For Bayesian inference, CSL can be used to form a communication-efficient quasi-posterior distribution that converges to the true posterior. This quasi-posterior procedure significantly improves the computational efficiency of MCMC algorithms even in a non-distributed setting. We present both theoretical analysis and experiments to explore the properties of the CSL approximation.

研究动机与目标

• 解决分布式统计推断中朴素平均方法带来的高通信成本和统计低效性问题。
• 开发一个统一框架，支持在通信约束下进行低维估计、高维正则化估计和贝叶斯推断。
• 构建一种代理似然，保持统计精度的同时大幅减少机器之间的数据传输。
• 通过构建通信高效的拟后验分布，实现高效的基于 MCMC 的贝叶斯推断。
• 在分布式设置下建立通信效率和极小化最大风险最优性的理论保证。

提出的方法

• 提出一种通信高效的代理似然（CSL）框架，利用局部数据和初始估计器近似全局负对数似然。
• 使用似然函数的一步或多步近似，迭代优化代理似然，以减少通信开销。
• 在贝叶斯推断中，基于代理似然构建拟后验分布，实现更快的 MCMC 采样。
• 将该方法应用于 M-估计、正则化估计（如 Lasso）和逻辑回归，采用局部数据划分并结合迭代优化。
• 使用基于代理后验的 Metropolis 算法加速 MCMC 采样，实现每轮迭代 k 倍的速度提升。
• 通过要求初始估计器足够接近全局估计器，确保理论一致性。

实验结果

研究问题

• RQ1 能否构建一种代理似然，实现在保持统计精度的同时实现通信高效的分布式推断？
• RQ2 CSL 框架在高维设置下是否能以受控的通信成本实现极小化最大风险最优估计率？
• RQ3 基于 CSL 的拟后验能否在贝叶斯分布式设置下，为全后验推断提供一种有效且计算高效的替代方案？
• RQ4 在不同机器数量和样本规模下，CSL 的性能与朴素平均方法在估计精度和通信成本方面的对比如何？
• RQ5 CSL 估计器保持极小化最大风险最优性所需的最小本地样本量是多少？

主要发现

• CSL 框架在高维正则化模型中实现了极小化最大风险最优估计，且通信成本可控，优于朴素平均方案。
• 在贝叶斯推断中，基于 CSL 的拟后验收敛至真实后验，并使每轮 MCMC 采样实现 k 倍加速。
• 在皮肤数据集上的逻辑回归实验中，1 步 CSL 估计器的预测性能显著优于平均估计器，且通信量极低。
• 2 步和 3 步 CSL 估计器的性能与 1 步估计器相当，表明该近似具有快速收敛性。
• 即使机器数量 k 超过本地样本量 n，只要初始估计器足够接近全局估计器，CSL 近似仍保持准确性。
• 该方法在低维和高维设置下均保持统计有效性与效率，包括逻辑回归等非线性模型。