[论文解读] Distributed Saddle-Point Problems Under Similarity

Aleksandr Beznosikov, Gesualdo Scutari+2 more|arXiv (Cornell University)|Jul 22, 2021

Stochastic Gradient Optimization Techniques参考文献 42被引用 11

一句话总结

该论文提出了一类通信高效的分布式算法，用于在函数相似性条件下求解（强）凸-（强）凹鞍点问题，其中各节点上的局部函数在统计或结构上相似。论文建立了与相似性参数 δ 成比例的通信复杂度紧下界，并提出了在对数因子内匹配这些下界的算法，在如鲁棒回归等病态条件设置下，显著优于非相似方法的效率。

ABSTRACT

We study solution methods for (strongly-)convex-(strongly)-concave Saddle-Point Problems (SPPs) over networks of two type - master/workers (thus centralized) architectures and meshed (thus decentralized) networks. The local functions at each node are assumed to be similar, due to statistical data similarity or otherwise. We establish lower complexity bounds for a fairly general class of algorithms solving the SPP. We show that a given suboptimality $ε>0$ is achieved over master/workers networks in $Ω\big(Δ\cdot δ/μ\cdot \log (1/\varepsilon)\big)$ rounds of communications, where $δ>0$ measures the degree of similarity of the local functions, $μ$ is their strong convexity constant, and $Δ$ is the diameter of the network. The lower communication complexity bound over meshed networks reads $Ω\big(1/{\sqrtρ} \cdot δ/μ\cdot\log (1/\varepsilon)\big)$, where $ρ$ is the (normalized) eigengap of the gossip matrix used for the communication between neighbouring nodes. We then propose algorithms matching the lower bounds over either types of networks (up to log-factors). We assess the effectiveness of the proposed algorithms on a robust logistic regression problem.

研究动机与目标

• 填补分布式鞍点问题（SPPs）中利用函数相似性的理论与算法框架的空白，尤其在去中心化和主从网络中。
• 建立当局部函数相似时（以参数 δ 衡量），求解 SPP 的通信复杂度的紧下界。
• 为主从网络和网状网络架构设计可证明最优的算法，其通信复杂度与推导出的下界仅相差对数因子。
• 在实际问题（如分布式鲁棒回归）中展示相似性感知设计的实用优势。
• 提供理论基础，表明相比忽略函数相似性的标准 SPP 求解器，相似性可降低通信成本。

提出的方法

• 定义 δ 相关的 SPP，其中各节点的局部函数在 Hessian 或梯度范数上的差异不超过 δ，以捕捉节点间数据的统计相似性。
• 推导主从网络的通信复杂度下界：Ω(Δ·δ/μ·log(1/ε))，其中 Δ 为网络直径，μ 为强凸性参数，ε 为目标次优性。
• 建立网状网络的下界：Ω(1/√ρ · δ/μ · log(1/ε))，其中 ρ 为 Gossip 矩阵的归一化特征值间隙。
• 提出针对两类网络的新颖分布式算法，其通信复杂度与推导出的下界仅相差对数因子，采用相似性感知预处理。
• 将局部相似性信息整合到算法预言机中，通过利用 δ ≪ L（Lipschitz 常数）这一事实，减少通信轮数。
• 在分布式鲁棒逻辑回归问题上验证该方法，结果表明其收敛更快且通信量更少，优于基线方法。

实验结果

研究问题

• RQ1 当局部函数相似（δ 相关）时，求解分布式 SPP 的基本通信复杂度下界是什么？
• RQ2 函数相似性（以 δ 衡量）如何影响分布式 SPP 求解器的通信效率，相较于忽略相似性的标准方法？
• RQ3 我们能否设计出在主从网络和网状网络中均能匹配所推导下界的通信复杂度的分布式算法？
• RQ4 在如鲁棒回归等病态问题中，相似性感知预处理在多大程度上提升了收敛性能？
• RQ5 在不同网络拓扑中，通信复杂度界如何随 δ、μ、Δ 和 ρ 等关键参数变化？

主要发现

• 主从网络的通信复杂度下界为 Ω(Δ·δ/μ·log(1/ε))，表明其对 δ/μ 的依赖优于对 L/μ 的依赖。
• 对于网状网络，下界为 Ω(1/√ρ · δ/μ · log(1/ε))，当 δ/μ ≪ L/μ 时，优于先前依赖于 L/μ 的界。
• 所提出的算法在对数因子内匹配所推导的下界，证明其在通信效率上的最优性。
• 在鲁棒回归实验中，相似性感知算法收敛更快，且通信轮数少于标准分布式 SPP 求解器。
• 在病态问题中，当 δ/μ 较小但 L/μ 较大时，改进最为显著，此时标准方法不切实际。
• 分析表明，即使在去中心化设置下，也可通过利用函数相似性降低通信成本，而不损害收敛保证。