[论文解读] Decentralized Accelerated Gradient Methods With Increasing Penalty Parameters

Huan Li, Cong Fang+2 more|arXiv (Cornell University)|Oct 2, 2018

Stochastic Gradient Optimization Techniques参考文献 55被引用 11

一句话总结

该论文提出两种基于递增惩罚参数的加速惩罚法的去中心化加速梯度方法。第一种算法在平滑问题上实现了最优的梯度计算复杂度和近似最优的通信复杂度，第二种算法在非平滑问题上达到了最优的次梯度和通信复杂度，与已知的下界一致。

ABSTRACT

In this paper, we study the communication and (sub)gradient computation costs in distributed optimization and give a sharp complexity analysis for the proposed distributed accelerated gradient methods. We present two algorithms based on the framework of the accelerated penalty method with increasing penalty parameters. Our first algorithm is for smooth distributed optimization and it obtains the near optimal $O\left(\sqrt{\frac{L}{ε(1-σ_2(W))}}\log\frac{1}ε ight)$ communication complexity and the optimal $O\left(\sqrt{\frac{L}ε} ight)$ gradient computation complexity for $L$-smooth convex problems, where $σ_2(W)$ denotes the second largest singular value of the weight matrix $W$ associated to the network and $ε$ is the target accuracy. When the problem is $μ$-strongly convex and $L$-smooth, our algorithm has the near optimal $O\left(\sqrt{\frac{L}{μ(1-σ_2(W))}}\log^2\frac{1}ε ight)$ complexity for communications and the optimal $O\left(\sqrt{\frac{L}μ}\log\frac{1}ε ight)$ complexity for gradient computations. Our communication complexities are only worse by a factor of $\left(\log\frac{1}ε ight)$ than the lower bounds for the smooth distributed optimization. %As far as we know, our method is the first to achieve both communication and gradient computation lower bounds up to an extra logarithm factor for smooth distributed optimization. Our second algorithm is designed for non-smooth distributed optimization and it achieves both the optimal $O\left(\frac{1}{ε\sqrt{1-σ_2(W)}} ight)$ communication complexity and $O\left(\frac{1}{ε^2} ight)$ subgradient computation complexity, which match the communication and subgradient computation complexity lower bounds for non-smooth distributed optimization.

研究动机与目标

• 解决去中心化设置下分布式优化中的通信与梯度计算成本问题。
• 设计在平滑与非平滑凸问题上均能达到最优或近似最优复杂度的算法。
• 通过在加速惩罚框架中使用递增惩罚参数，克服现有方法的局限性。
• 使平滑问题的通信复杂度接近理论下界，仅相差对数因子。
• 在非平滑分布式优化中，次梯度与通信复杂度与已知下界一致。

提出的方法

• 提出一种具有递增惩罚参数的加速惩罚法框架，以平衡收敛速度与通信效率。
• 设计两种算法：APM-C用于平滑问题，APM用于非平滑问题，两者均结合本地计算与邻居间通信。
• 引入自适应步长与内层迭代调度：APM-C中 $ T_k = \lceil \frac{\log(k+1)}{5\sqrt{1-\sigma_2(W)}} \rceil $，APM采用类似形式。
• 使用随迭代递增的惩罚参数 $ \beta_k $，其中 $ \beta_0 $ 根据网络连通性 $ \sigma_2(W) $ 进行调优。
• 在对偶空间中应用Nesterov型加速，以提升收敛速率。
• 通过权重矩阵 $ W $ 利用网络结构，其中 $ \sigma_2(W) $ 衡量网络连通性，并影响收敛速率。

实验结果

研究问题

• RQ1 我们能否设计一种去中心化算法，实现平滑分布式问题的最优梯度计算复杂度？
• RQ2 能否使通信复杂度近乎最优，即与下界相差 $ \log(1/\epsilon) $ 因子？
• RQ3 能否在非平滑分布式优化中同时实现最优的次梯度与通信复杂度？
• RQ4 网络连通性（以 $ \sigma_2(W) $ 衡量）如何影响去中心化加速方法的性能？
• RQ5 在去中心化设置中，递增惩罚参数是否能提升收敛性而不牺牲通信效率？

主要发现

• 对于平滑的非强凸问题，所提出的 APM-C 实现了 $ O\left(\sqrt{\frac{L}{\epsilon}}\right) $ 的梯度计算复杂度和 $ O\left(\sqrt{\frac{L}{\epsilon(1-\sigma_2(W))}}\log\frac{1}{\epsilon}\right) $ 的通信复杂度，为近似最优。
• 对于平滑的强凸问题，APM-C 实现了 $ O\left(\sqrt{\frac{L}{\mu}}\log\frac{1}{\epsilon}\right) $ 的梯度复杂度和 $ O\left(\sqrt{\frac{L}{\mu(1-\sigma_2(W))}}\log^2\frac{1}{\epsilon}\right) $ 的通信复杂度，与已知下界一致，仅相差 $ \log^2(1/\epsilon) $ 因子。
• 对于非平滑问题，APM 算法实现了 $ O\left(\frac{1}{\epsilon^2}\right) $ 的次梯度计算复杂度和 $ O\left(\frac{1}{\epsilon\sqrt{1-\sigma_2(W)}}\right) $ 的通信复杂度，与理论下界一致。
• 实验结果表明，APM-C 在计算成本方面优于 D-NG、D-NC、DNGD、EXTRA 和 ADA，尤其在非强凸设置下表现更优。
• APM-adp（自适应参数）所需的通信次数与次梯度计算次数少于 APM-fix（固定参数），证明了动态参数调优的优势。
• 该算法对网络连通性具有鲁棒性：随着 $ \frac{1}{\sqrt{1-\sigma_2(W)}} $ 增大，性能仅轻微下降，尤其在非强凸情况下表现更稳定。