[论文解读] Distributed Mean Estimation with Limited Communication

Ananda Theertha Suresh, Felix X. Yu+2 more|arXiv (Cornell University)|Nov 2, 2016

Stochastic Gradient Optimization Techniques参考文献 23被引用 148

一句话总结

该论文开发了通信高效、分布式无分布假设的均值估计协议，在通信成本下实现极小极大（minimax）最优的均方误差（MSE），并将其应用于分布式 Lloyd’s 算法用于 k-means，以及用于 PCA 的幂迭代。

ABSTRACT

Motivated by the need for distributed learning and optimization algorithms with low communication cost, we study communication efficient algorithms for distributed mean estimation. Unlike previous works, we make no probabilistic assumptions on the data. We first show that for $d$ dimensional data with $n$ clients, a naive stochastic binary rounding approach yields a mean squared error (MSE) of $Θ(d/n)$ and uses a constant number of bits per dimension per client. We then extend this naive algorithm in two ways: we show that applying a structured random rotation before quantization reduces the error to $\mathcal{O}((\log d)/n)$ and a better coding strategy further reduces the error to $\mathcal{O}(1/n)$ and uses a constant number of bits per dimension per client. We also show that the latter coding strategy is optimal up to a constant in the minimax sense i.e., it achieves the best MSE for a given communication cost. We finally demonstrate the practicality of our algorithms by applying them to distributed Lloyd's algorithm for k-means and power iteration for PCA.

研究动机与目标

• 在不假设数据分布的前提下，推动低通信成本的分布式均值估计。
• 在固定通信预算下研究极小极大均方误差（MSE）。
• 开发并比较多种量化和编码方案以最小化 MSE。
• 通过将算法应用于分布式 Lloyd’s 算法和 PCA 幂迭代，展示其实用性。

提出的方法

• 以随机均匀量化作为基线开始。
• 引入 k 级随机量化以降低 MSE。
• 应用随机旋转量化，通过在量化前进行随机旋转来进一步降低 MSE。
• 使用变长编码（算术/霍夫曼编码）压缩量化后等级。
• 引入客户端采样，在通信和 MSE 之间进行权衡。
• 证明极小极大下界，并在常数量级内表现出最优性。

实验结果

研究问题

• RQ1 在给定通信预算 c 下，在不做分布假设的前提下，分布式均值估计可达到的最佳 MSE 是多少？
• RQ2 在量化前进行随机旋转是否能在固定通信成本下降低 MSE？
• RQ3 不同量化和编码策略在分布式均值估计的 MSE 与通信方面的对比如何？
• RQ4 所提出的方案是否能有效扩展到如分布式 Lloyd’s 算法（用于 k-means）和 PCA 的幂迭代等实际任务？

主要发现

• 一种天真随机二值量化在每维常数位的情况下给出 MSE Theta(d/n)。
• 随机 k 级量化在固定 X_i 界限下将 MSE 提升为 O(d/(n(k-1)^2))，通信为 n·(d log2 k + O(1)) 比特。
• 带有随机旋转的随机旋量化，在相同通信下实现的 MSE 为 O((log d)/n)（常量级）
• 使用算术/霍夫曼编码的变长编码在与非旋转量化相当的 MSE 下，通信量减少，在 k <= sqrt(d) 的情况下实现每个客户端 O(d) 比特。
• 存在一个普适常数 t<1，使得当 c ≤ nd t，极小极大 MSE 为 Theta(min(1, d/c))，在通信和维度之间建立线性缩放。
• 这些方案已在分布式 Lloyd’s 算法（k-means）和幂迭代（PCA）上得到演示。