[论文解读] Efficient Distributed Online Prediction and Stochastic Optimization with Approximate Distributed Mini-Batches

Konstantinos I. Tsianos, Michael Rabbat|arXiv (Cornell University)|Mar 3, 2014

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文提出了一种基于 gossip 的分布式优化方法，通过使用近似分布式平均，实现了最优的遗憾界 $\mathcal{O}(\sqrt{m})$，其中 $m$ 是样本总数。该方法在随机优化中表现出近乎线性扩展，要求在连接良好的网络上每轮进行 $\mathcal{O}(\frac{1}{n \epsilon^2})$ 轮，每轮包含 $\mathcal{O}(\log n)$ 次 gossip 迭代。

ABSTRACT

We study distributed methods for online prediction and stochastic optimization. Our approach is iterative: in each round nodes first perform local computations and then communicate in order to aggregate information and synchronize their decision variables. Synchronization is accomplished through the use of a distributed averaging protocol. When an exact distributed averaging protocol is used, it is known that the optimal regret bound of $\mathcal{O}(\sqrt{m})$ can be achieved using the distributed mini-batch algorithm of Dekel et al. (2012), where $m$ is the total number of samples processed across the network. We focus on methods using approximate distributed averaging protocols and show that the optimal regret bound can also be achieved in this setting. In particular, we propose a gossip-based optimization method which achieves the optimal regret bound. The amount of communication required depends on the network topology through the second largest eigenvalue of the transition matrix of a random walk on the network. In the setting of stochastic optimization, the proposed gossip-based approach achieves nearly-linear scaling: the optimization error is guaranteed to be no more than $\epsilon$ after $\mathcal{O}(\frac{1}{n \epsilon^2})$ rounds, each of which involves $\mathcal{O}(\log n)$ gossip iterations, when nodes communicate over a well-connected graph. This scaling law is also observed in numerical experiments on a cluster.

研究动机与目标

• 开发在近似通信协议下仍能保持最优遗憾性能的分布式在线预测与随机优化方法。
• 解决分布式系统中因通信开销过大而难以实现精确平均的同步挑战。
• 在节点数量和期望精度方面实现优化误差减少的近乎线性扩展。
• 通过随机游走转移矩阵的第二大特征值分析网络拓扑对收敛性的影响。
• 证明在分布式小批量设置中，近似分布式平均可实现与精确平均相同的遗憾和误差界。

提出的方法

• 使用基于 gossip 的协议执行近似分布式平均，替代分布式小批量算法中的精确平均。
• 采用一种分布式平均协议，其中每个节点通过邻居的局部平均值迭代更新其决策变量。
• 该平均协议的收敛速率取决于网络图上随机游走转移矩阵的第二大特征值。
• 将近似平均协议集成到分布式小批量框架中，以保持最优遗憾缩放性能。
• 每轮优化包含 $\mathcal{O}(\log n)$ 次 gossip 迭代，以实现足够的平均精度。
• 该方法确保在连接良好的图上，经过 $\mathcal{O}(\frac{1}{n \epsilon^2})$ 轮后，优化误差被限制在 $\epsilon$ 以内。

实验结果

研究问题

• RQ1 在分布式在线学习中，使用近似分布式平均而非精确平均时，是否仍能保持最优遗憾缩放？
• RQ2 网络拓扑（通过转移矩阵的第二大特征值表征）如何影响分布式优化方法的收敛速率？
• RQ3 所提出的基于 gossip 的方法是否在节点数量和期望精度方面实现了优化误差减少的近乎线性扩展？
• RQ4 为在随机优化中保持最优遗憾和误差界，每轮所需的 gossip 迭代次数是多少？
• RQ5 该方法是否能在降低大规模分布式系统通信开销的同时，实现与精确平均协议相当的性能？

主要发现

• 所提出的基于 gossip 的方法即使在使用近似分布式平均时，也能实现最优遗憾界 $\mathcal{O}(\sqrt{m})$，与精确平均协议的性能一致。
• 当节点在连接良好的图上通信时，优化误差在 $\mathcal{O}(\frac{1}{n \epsilon^2})$ 轮后被保证不超过 $\epsilon$。
• 每轮需要 $\mathcal{O}(\log n)$ 次 gossip 迭代，以确保平均精度足够高，从而维持最优收敛速率。
• 收敛速率由随机游走转移矩阵的第二大特征值决定，从而将网络拓扑与算法性能联系起来。
• 在集群上的数值实验验证了实际中观察到的近乎线性扩展规律。
• 尽管使用了近似通信，该方法仍能保持最优遗憾和误差界，证明了其对通信不精确性的鲁棒性。