[论文解读] Distributed Variance Reduction with Optimal Communication

Peter Maxwell Davies, Vijaykrishna Gurunathan+3 more|arXiv (Cornell University)|Feb 21, 2020

Stochastic Gradient Optimization Techniques参考文献 11被引用 8

一句话总结

本文提出了一种新颖的分布式方差缩减方法，将输出方差与输入向量范数解耦，从而在所有场景下实现最优通信效率。通过引入一种与范数无关的量化方案，其方差界仅依赖于输入方差，优于以往在输入范数较大时性能显著下降的方法。

ABSTRACT

We consider the problem of distributed variance reduction: $n$ machines each receive probabilistic estimates of an unknown true vector $\Delta$, and must cooperate to find a common estimate of $\Delta$ with lower variance, while minimizing communication. Variance reduction is closely related to the well-studied problem of distributed mean estimation, and is a key procedure in instances of distributed optimization, such as data-parallel stochastic gradient descent. Previous work typically assumes an upper bound on the norm of the input vectors, and achieves an output variance bound in terms of this norm. However, in real applications, the input vectors can be concentrated around the true vector $\Delta$, but $\Delta$ itself may have large norm. In this case, output variance bounds in terms of input norm perform poorly, and may even increase variance. In this paper, we show that output variance need not depend on input norm. We provide a method of quantization which allows variance reduction to be performed with solution quality dependent only on input variance, not on input norm, and show an analogous result for mean estimation. This method is effective over a wide range of communication regimes, from sublinear to superlinear in the dimension. We also provide lower bounds showing that in many cases the communication to output variance trade-off is asymptotically optimal. Further, we show experimentally that our method yields improvements for common optimization tasks, when compared to prior approaches to distributed mean estimation.

研究动机与目标

• 解决现有分布式方差缩减方法在输入向量范数较大时性能显著下降的局限性。
• 设计一种通信效率高的方法，使得输出方差仅依赖于输入方差，而不依赖于输入范数。
• 建立通信-方差权衡的理论下界，证明其在渐近意义下的最优性。
• 在数据并行SGD等常见优化任务中展示其经验优越性。

提出的方法

• 提出一种新颖的量化方案，消除输出方差对输入向量范数的依赖。
• 引入一种与范数无关的方差缩减协议，可在亚线性至超线性通信规模下有效运行。
• 采用随机量化机制，在最小化通信量的同时保持方差特性。
• 将该方法应用于分布式均值估计，证明其性能保证与现有方法等价。
• 推导出通信复杂度与输出方差的理论界，证明在多种场景下具有最优性。
• 采用带量化更新的递归平均策略，在通信受限条件下保持精度。

实验结果

研究问题

• RQ1 是否可以在分布式系统中使方差缩减独立于输入向量范数，即使真实向量的范数较大？
• RQ2 在分布式均值估计中，通信成本与输出方差之间的最优权衡是什么？
• RQ3 基于量化的方案是否能在不同通信规模下实现通信-方差权衡的渐近最优性？
• RQ4 在现实世界的优化工作负载中，该方法与以往方法相比在经验表现上如何？

主要发现

• 所提方法的输出方差仅依赖于输入方差，而不依赖于真实向量Δ的范数。
• 理论下界证实，该方法在多种场景下实现了渐近最优的通信-方差权衡。
• 实验结果表明，在分布式优化任务（如数据并行SGD）中，该方法持续优于以往方法。
• 该方法在从亚线性到超线性通信规模的广泛范围内均表现有效。
• 结果表明，量化足以消除范数相关方差膨胀，即使输入向量集中在Δ附近。
• 理论分析确认，该方法达到了分布式方差缩减中通信效率的根本极限。