[论文解读] Decentralized and Parallelized Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems

Darina Dvinskikh, Alexander Gasnikov|arXiv (Cornell University)|Apr 18, 2019

Stochastic Gradient Optimization Techniques参考文献 65被引用 19

一句话总结

本文提出了一种去中心化、并行化的原始与对偶加速随机梯度方法，用于凸优化，实现了最优通信复杂度，并在对数因子范围内达到近似最优的Oracle复杂度。通过引入小批量处理，该方法实现了节点级别的并行化，使其适用于大规模数据科学和反问题。

ABSTRACT

We introduce primal and dual stochastic gradient oracle methods for decentralized convex optimization problems. Both for primal and dual oracles, the proposed methods are optimal in terms of the number of communication steps. However, for all classes of the objective, the optimality in terms of the number of oracle calls per node takes place only up to a logarithmic factor and the notion of smoothness. By using mini-batching technique, we show that the proposed methods with stochastic oracle can be additionally parallelized at each node. The considered algorithms can be applied to many data science problems and inverse problems.

研究动机与目标

• 解决去中心化网络中可扩展且高效的分布式凸优化挑战。
• 开发通信开销最小化同时保持每个节点高计算效率的方法。
• 为原始与对偶随机梯度方法实现最优通信复杂度。
• 通过小批量处理在每个节点上引入并行化，提高计算吞吐量而不牺牲收敛保证。
• 使所提出的方法适用于大规模数据科学和反问题中的实际应用场景。

提出的方法

• 设计适用于去中心化凸优化的原始与对偶随机梯度Oracle方法。
• 通过在去中心化环境中应用加速梯度技术，确保通信步数的最优性。
• 引入小批量处理以在每个节点上并行化计算，减少有效顺序Oracle调用次数。
• 在随机Oracle访问下保持收敛保证，即使在梯度估计存在噪声的情况下。
• 使用基于一致性（consensus-based）的通信协议，在无中心协调器的情况下同步各节点的更新。
• 应用加速技术（如动量或Nesterov风格）以提升原始与对偶形式下的收敛速度。

实验结果

研究问题

• RQ1 原始与对偶随机梯度方法是否能在去中心化凸优化中实现最优通信复杂度？
• RQ2 在不降低收敛性能的前提下，通过小批量处理能在多大程度上实现节点级别的并行化？
• RQ3 所提出方法的Oracle复杂度与理论下限相比如何，特别是在考虑光滑性与对数因子时？
• RQ4 所提出的方法在多大程度上可扩展至大规模数据科学与反问题？
• RQ5 在去中心化随机优化中，通信效率与计算并行化之间存在何种权衡？

主要发现

• 所提出的原始与对偶方法实现了最优通信复杂度，与理论下限一致。
• 在光滑性假设下，方法在每个节点的Oracle复杂度上达到近似最优，仅相差对数因子。
• 小批量处理实现了有效的节点级并行化，提升了计算吞吐量，且未增加通信成本。
• 由于其去中心化与随机性质，该算法可适用于广泛的数据科学与反问题类别。
• 通过使用类似动量的技术加速了方法的收敛速度，性能优于标准随机梯度下降。
• 理论分析证实，该方法在去中心化环境中面对随机梯度噪声时仍保持稳定与收敛。