[论文解读] Communication-Efficient Distributed Strongly Convex Stochastic Optimization: Non-Asymptotic Rates

Anit Kumar Sahu, Dušan Jakovetić+2 more|arXiv (Cornell University)|Sep 9, 2018

Distributed Control Multi-Agent Systems参考文献 27被引用 15

一句话总结

本文提出了一种用于零阶和一阶强凸问题的通信高效分布式随机优化方法，采用概率性、逐步稀疏化的通信协议。其一阶方法的非渐近收敛率为 $O(1/(C_{\text{comm}})^{4/3-\zeta})$，零阶方法的非渐近收敛率为 $O(1/(C_{\text{comm}})^{8/9-\zeta})$，计算速率达到阶最优，相较于先前工作显著提升了通信效率。

ABSTRACT

We examine fundamental tradeoffs in iterative distributed zeroth and first order stochastic optimization in multi-agent networks in terms of \emph{communication cost} (number of per-node transmissions) and \emph{computational cost}, measured by the number of per-node noisy function (respectively, gradient) evaluations with zeroth order (respectively, first order) methods. Specifically, we develop novel distributed stochastic optimization methods for zeroth and first order strongly convex optimization by utilizing a probabilistic inter-agent communication protocol that increasingly sparsifies communications among agents as time progresses. Under standard assumptions on the cost functions and the noise statistics, we establish with the proposed method the $O(1/(C_{\mathrm{comm}})^{4/3-ζ})$ and $O(1/(C_{\mathrm{comm}})^{8/9-ζ})$ mean square error convergence rates, for the first and zeroth order optimization, respectively, where $C_{\mathrm{comm}}$ is the expected number of network communications and $ζ>0$ is arbitrarily small. The methods are shown to achieve order-optimal convergence rates in terms of computational cost~$C_{\mathrm{comp}}$, $O(1/C_{\mathrm{comp}})$ (first order optimization) and $O(1/(C_{\mathrm{comp}})^{2/3})$ (zeroth order optimization), while achieving the order-optimal convergence rates in terms of iterations. Experiments on real-life datasets illustrate the efficacy of the proposed algorithms.

研究动机与目标

• 解决大规模数据下多智能体网络中分布式随机优化的通信瓶颈问题。
• 开发减少每个节点传输次数的方法，同时在通信和计算成本上保持最优收敛速率。
• 在标准光滑性和噪声假设下，建立零阶和一阶分布式随机优化的非渐近、阶最优收敛速率。
• 分析分布式设置下通信成本 $C_{\text{comm}}$ 与计算成本 $C_{\text{comp}}$ 之间的权衡。
• 通过实证验证，在真实数据集上展示所提方法的有效性。

提出的方法

• 引入一种概率性智能体间通信协议，随时间逐步稀疏化传输，降低通信开销。
• 设计一种新型一阶分布式随机优化方法，结合共识更新与来自本地 SFO oracle 的随机梯度查询。
• 开发相应的零阶方法，利用来自 SZO oracle 的随机函数值查询，集成类似共识与创新机制。
• 采用递减步长规则 $\alpha_k \propto 1/k$，以在迭代更新过程中平衡收敛性与稳定性。
• 在具有固定通信图的网络上使用加权平均共识机制，智能体基于本地估计值和邻近信息进行更新。
• 通过界定平均迭代值与最优解之间期望平方误差的方式分析收敛性，利用通信矩阵的谱性质。

实验结果

研究问题

• RQ1 能否在强凸问题中，使分布式随机优化方法在通信和计算成本上均达到阶最优收敛速率？
• RQ2 日益稀疏化的通信协议如何影响分布式零阶和一阶优化中的均方误差收敛速率？
• RQ3 在现实噪声和光滑性假设下，分布式随机优化中通信成本与计算成本之间的权衡是什么？
• RQ4 所提方法能否在显著提升通信效率的同时，保持最优计算速率，优于现有方法？
• RQ5 目标函数的光滑程度在零阶分布式优化中如何影响可实现的收敛速率？

主要发现

• 所提一阶方法在通信成本 $C_{\text{comm}}$ 上达到均方误差（MSE）收敛率 $O(1/(C_{\text{comm}})^{4/3-\zeta})$，其中 $\zeta > 0$ 为任意小的正数。
• 零阶方法达到 $O(1/(C_{\text{comm}})^{8/9-\zeta})$ 的 MSE 收敛率，这是首次实现该非渐近率并提升通信效率。
• 两种方法均实现阶最优计算速率：一阶为 $O(1/C_{\text{comp}})$，零阶为 $O(1/(C_{\text{comp}})^{2/3})$，与最优集中式速率一致。
• 收敛率的推导基于标准假设：强凸性、有界梯度方差以及目标函数的二阶光滑性。
• 在真实数据集上的数值实验验证了所提算法的通信效率，表明其在更少传输次数下实现更快收敛。
• 分析表明，零阶方法通信速率较慢的原因在于梯度估计中不可避免的偏差，而一阶方法中不存在此类偏差。