[论文解读] Optimal algorithms for smooth and strongly convex distributed optimization in networks

Kevin G. Seaman, Francis Bach+3 more|arXiv (Cornell University)|Feb 28, 2017

Distributed Control Multi-Agent Systems参考文献 24被引用 189

一句话总结

本文推导了在集中式和去中心化网络中对平滑且强凸目标的分布式优化的最优收敛率，并引入 SSDA 和 MSDA 作为与这些界限匹配的最优方法。

ABSTRACT

In this paper, we determine the optimal convergence rates for strongly convex and smooth distributed optimization in two settings: centralized and decentralized communications over a network. For centralized (i.e. master/slave) algorithms, we show that distributing Nesterov's accelerated gradient descent is optimal and achieves a precision $\varepsilon > 0$ in time $O(\sqrt{κ_g}(1+Δτ)\ln(1/\varepsilon))$, where $κ_g$ is the condition number of the (global) function to optimize, $Δ$ is the diameter of the network, and $τ$ (resp. $1$) is the time needed to communicate values between two neighbors (resp. perform local computations). For decentralized algorithms based on gossip, we provide the first optimal algorithm, called the multi-step dual accelerated (MSDA) method, that achieves a precision $\varepsilon > 0$ in time $O(\sqrt{κ_l}(1+\fracτ{\sqrtγ})\ln(1/\varepsilon))$, where $κ_l$ is the condition number of the local functions and $γ$ is the (normalized) eigengap of the gossip matrix used for communication between nodes. We then verify the efficiency of MSDA against state-of-the-art methods for two problems: least-squares regression and classification by logistic regression.

研究动机与目标

• 确定在集中和分布式网络中，带有平滑且强凸目标的分布式优化的根本、最优收敛率。
• 提出实现这些最优速率的算法：在集中情形分布式 Nesterov 加速梯度下降，及在去中心化情形引入对偶加速方法。
• 分析网络性质（直径 Δ、特征值间隙）如何影响复杂度界，并与现有方法进行比较。
• 在最小二乘回归和逻辑回归上验证所提方法，以说明实际效率。

提出的方法

• 对于集中问题，分布式的 Nesterov 加速梯度下降，以实现时间复杂度为 O(sqrt(kappa_g) (1+Δτ) ln(1/ε)) 的收敛速率。
• 对于去中心化问题，建立对偶问题并推导单步对偶加速（SSDA）方法，在 γ 为 gossip 矩阵的归一化特征间隙时实现 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε)) 的收敛速率。
• 通过对 gossip 步应用切比雪夫加速，提出多步对偶加速（MSDA）方法，得到相同的收敛量纲 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))。
• 使用对偶公式，其中目标是在具有等式约束 Theta√W=0 的变量上最小化，并通过对偶上的加速梯度求解。
• 对 Gossip 运算符通过 Chebyshev 多项式加速 P_K(W) 以提升其有效性，并实现对 γ 的最优依赖性，K 约等于 ⌊1/√γ⌋。
• 讨论扩展，如复合函数、热启动和异步变体。

实验结果

研究问题

• RQ1 中心化和去中心化分布式优化在具有平滑且强凸目标时的最优 oracle 复杂度下界是什么？
• RQ2 是否可被实际算法在集中和去中心化设置中实现这些下界？
• RQ3 网络直径 Δ 与 gossip 特征值间隙 γ 如何影响收敛率界？
• RQ4 在如最小二乘和逻辑回归等实际问题中，SSDA 与 MSDA 相对现有方法（D-ADMM、EXTRA、DIGing）的表现如何？

主要发现

• 对于集中主从优化，将 Nesterov 的加速梯度下降分布化可达到最优速率，时间复杂度为 O(sqrt(kappa_g) (1+Δτ) ln(1/ε))。
• 对于去中心化（基于 gossip 的优化），MSDA 方法达到最优速率 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))。
• 下界表明任何黑盒过程在关于 kappa_g、Δ、τ（集中）和 kappa_l、γ、τ（去中心化）的复杂度方面至少需要这些数量级。
• SSDA 提供一个简单的对偶加速方法，证明在精度为 ln(1/ε) 时所需时间为 O((1+τ) sqrt(kappa_l/γ))。
• MSDA 通过对 gossip 步的切比雪夫加速来改进，在通信成本低时以更好的实际效率实现相同量级，给出 O(sqrt(kappa_l) (1+τ/√γ) ln(1/ε))。
• 在最小二乘和逻辑回归的实验结果显示 DAGD 在集中方法中最好，而 MSDA 是最强的去中心化对手，在各种设置下优于 D-ADMM、EXTRA、和 DIGing。