[论文解读] Distributed Mean Estimation with Optimal Error Bounds.

Dan Alistarh, Saleh Ashkboos+1 more|arXiv (Cornell University)|Feb 21, 2020

Stochastic Gradient Optimization Techniques被引用 1

一句话总结

本文提出了一种基于量化的新方法用于分布式均值估计，其误差界与输入向量的范数无关，仅取决于输入方差。通过将方差减少与范数依赖解耦，该方法在各种通信环境下均表现出优越性能，具有理论保证，并在经验上优于先前的方法。

ABSTRACT

We consider the problem of distributed variance reduction: $n$ machines each receive probabilistic estimates of an unknown true vector $\Delta$, and must cooperate to find a common estimate of $\Delta$ with lower variance, while minimizing communication. Variance reduction is closely related to the well-studied problem of distributed mean estimation, and is a key procedure in instances of distributed optimization, such as data-parallel stochastic gradient descent. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an output variance bound in terms of this norm. However, in real applications, the input vectors can be concentrated around the true vector $\Delta$, but $\Delta$ itself may have large norm. In this case, output variance bounds in terms of input norm perform poorly, and may even increase variance. In this paper, we show that output variance need not depend on input norm. We provide a method of quantization which allows variance reduction to be performed with solution quality dependent only on input variance, not on input norm, and show an analogous result for mean estimation. This method is effective over a wide range of communication regimes, from sublinear to superlinear in the dimension. We also provide lower bounds showing that in many cases the communication to output variance trade-off is asymptotically optimal. Further, we show experimentally that our method yields improvements for common optimization tasks, when compared to prior approaches to distributed mean estimation.

研究动机与目标

• 解决现有分布式均值估计方法依赖于输入向量范数的局限性，避免在真实向量范数较大时性能下降。
• 设计一种量化方案，使方差减少仅依赖于输入方差，而非输入范数，从而提升在实际应用中的鲁棒性。
• 建立在子线性到超线性通信范围内的通信-误差权衡，实现渐近最优。
• 在分布式优化任务（如数据并行SGD）中，与先前方法相比，展示出经验上的改进。

提出的方法

• 提出一种新颖的量化机制，以保留方差结构的同时最小化通信开销。
• 采用一种分布式平均协议，各机器通过通信量化估计值，从而在不损失估计精度的前提下降低通信成本。
• 推导出理论界，表明输出方差仅依赖于输入方差，而不依赖于真实向量Δ的范数。
• 设计一种通信高效的协议，可适应从维度的子线性到超线性范围的通信预算变化。
• 采用一种感知方差的量化策略，在输入向量范数较大但围绕Δ高度集中时，仍能保持估计保真度。
• 建立通信-方差权衡的下界，证明该方法在许多场景下具有渐近最优性。

实验结果

研究问题

• RQ1 能否在不依赖真实向量Δ范数的前提下实现分布式均值估计，且误差界保持独立？
• RQ2 是否可能设计一种量化方案，使得方差减少仅依赖于输入方差，而非输入范数？
• RQ3 在分布式均值估计中，最优的通信-输出方差权衡是什么？能否实现？
• RQ4 该方法在从维度的子线性到超线性范围的各类通信环境下表现如何？
• RQ5 该方法能否在实际的分布式优化工作负载（如数据并行SGD）中带来可测量的性能提升？

主要发现

• 所提方法的输出方差仅依赖于输入方差，而不依赖于真实向量Δ的范数，解决了先前方法的关键局限。
• 理论下界证实，该方法在广泛通信范围内的通信-误差权衡具有渐近最优性。
• 实验结果表明，在分布式优化任务中实现可测量的性能提升，例如在数据并行随机梯度下降中实现更快收敛。
• 该量化方案即使在输入向量范数较大但围绕Δ方差较小时，仍能实现有效的方差减少。
• 该方法在各类通信环境（从低通信的子线性到高通信的超线性设置）中均保持强大性能。
• 理论分析确认，该方法在许多场景下的通信效率无法实现渐近改进，从而确立了其最优性。