[论文解读] Acceleration in Distributed Optimization under Similarity

Ye Tian, Gesualdo Scutari+2 more|arXiv (Cornell University)|Oct 24, 2021

Stochastic Gradient Optimization Techniques参考文献 21被引用 9

一句话总结

该论文提出了一种针对具有相似局部损失函数的代理网络的预处理加速分布式优化算法。通过基于海森矩阵的预处理方法利用函数相似性，该方法实现了 $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$ 的通信复杂度，与已知的下界相比仅相差对数因子，并且相较于现有加速方案显著降低了通信成本——尤其在病态条件问题中表现更优。

ABSTRACT

We study distributed (strongly convex) optimization problems over a network of agents, with no centralized nodes. The loss functions of the agents are assumed to be extit{similar}, due to statistical data similarity or otherwise. In order to reduce the number of communications to reach a solution accuracy, we proposed a {\it preconditioned, accelerated} distributed method. An $\varepsilon$-solution is achieved in $ ilde{\mathcal{O}}\big(\sqrt{\frac{β/μ}{1-ρ}}\log1/\varepsilon\big)$ number of communications steps, where $β/μ$ is the relative condition number between the global and local loss functions, and $ρ$ characterizes the connectivity of the network. This rate matches (up to poly-log factors) lower complexity communication bounds of distributed gossip-algorithms applied to the class of problems of interest. Numerical results show significant communication savings with respect to existing accelerated distributed schemes, especially when solving ill-conditioned problems.

研究动机与目标

• 为解决分布式优化中的高通信成本问题，特别是当条件数 $\kappa$ 较大时的病态条件问题。
• 弥合集中式加速算法（其步数为 $\tilde{\mathcal{O}}(1 + \sqrt{\beta/\mu})$）与分布式网格网络之间的差距，后者此前尚未证明可实现此类速率。
• 设计一种分布式、预处理、加速的算法，使其在函数相似性条件下达到通信复杂度的理论下界。
• 实现线性收敛，且通信复杂度按 $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$ 缩放，其中 $\beta/\mu$ 衡量相对相似性，$\rho$ 反映网络连通性。

提出的方法

• 提出 Inexact ACC-SONATA-F，一种结合了 SONATA 框架的不精确变体、加速机制与预处理的分布式算法。
• 基于相对条件数 $\beta/\mu$ 构建预处理矩阵，其中 $\beta$ 用于界定局部海森矩阵与全局海森矩阵之间的偏差，从而自适应调整更新步长。
• 采用双层循环结构：外层用于全局加速，内层用于以不精确梯度求解子问题，其终止条件由控制准则决定。
• 引入一个李雅普诺夫函数 $g^k + e^k$，用于追踪算法进展，并通过有界误差衰减来保证收敛性。
• 通过望远镜不等式和误差项的几何衰减，推导出通信复杂度上界，利用网络连通性 $\rho$ 和相似性 $\beta/\mu$ 的特性。
• 证明内层循环的终止条件 $g^{k,T} + e^{k,T} \leq \epsilon^{k+1}$ 可在 $\mathcal{O}(\log \frac{\beta}{\mu})$ 步内满足，从而确保整体算法的高效性。

实验结果

研究问题

• RQ1 在网格网络上，是否可设计出一种分布式算法，使通信复杂度按 $\tilde{\mathcal{O}}(1 + \sqrt{\beta/\mu})$ 缩放，与最优集中式加速方案相匹配？
• RQ2 在病态条件的分布式问题中，通过利用函数相似性（以海森矩阵偏差 $\beta$ 衡量）是否能实现显著的通信节省？
• RQ3 能否在分布式、去中心化的设置中，将预处理与加速机制结合，以达到通信复杂度的下界？
• RQ4 当存在函数相似性时，网络连通性 $\rho$ 如何影响收敛速率？

主要发现

• 所提算法实现了 $\tilde{\mathcal{O}}\left(\sqrt{\frac{\beta/\mu}{1-\rho}}\log \frac{1}{\varepsilon}\right)$ 的通信复杂度，与已知的分布式扩散算法下界相比仅相差对数因子。
• 通信复杂度依赖于 $\sqrt{\beta/\mu}$ 而非 $\sqrt{\kappa}$，因此在 $\kappa$ 较大但 $\beta/\mu$ 保持较小时，可实现显著的通信节省。
• 数值结果证实，与现有加速分布式方案相比，该方法在 $\beta/\mu \ll \kappa$ 时表现出显著的通信节省。
• 算法的内层循环可在 $\mathcal{O}(\log \frac{\beta}{\mu})$ 步内终止，确保整体算法的通信效率。
• 该方法适用于独立同分布数据的分布式 ERM 问题，此时 $\beta = \tilde{O}(1/\sqrt{n})$ 几乎必然成立，从而导致 $\beta/\mu = \mathcal{O}(\sqrt{m})$，实现更好的可扩展性。
• 收敛速率对网络连通性 $\rho$ 具有鲁棒性，其界按 $1/(1 - \rho)$ 缩放，反映了网络拓扑对通信效率的影响。