[论文解读] Distributed Saddle-Point Problems: Lower Bounds, Optimal and Robust Algorithms

Aleksandr Beznosikov, Valentin Samokhin+1 more|arXiv (Cornell University)|Oct 25, 2020

Stochastic Gradient Optimization Techniques参考文献 59被引用 12

一句话总结

本文提出了一种用于分布式随机鞍点问题的新联邦算法——Extra Step Local SGD，在凸-凹和非凸-非凹设置下均实现了最优收敛速率。该文建立了集中式与去中心化方法的紧致下界，并通过在分布式环境中的 GAN 训练验证了方法的实际有效性。

ABSTRACT

This paper focuses on the distributed optimization of smooth stochastic saddle-point problems. The first part of the paper is devoted to lower bounds for the cenralized and decentralized distributed methods for smooth (strongly-)convex-(strongly-)concave saddle-point problems as well as the optimal algorithms by which these bounds are achieved. Next, we present a new federated algorithm for saddle-point problems - Extra Step Local SGD. Theoretical analysis of the new method is carried out for (strongly-)convex-(strongly-)concave and non-convex-non-concave problems. In the experimental part of the paper, we show the effectiveness of our method in practice. In particular, we train GANs in a distributed manner.

研究动机与目标

• 为平滑（强）凸-（强）凹鞍点问题中的集中式与去中心化方法建立紧致下界。
• 设计一种适用于分布式鞍点优化的最优且鲁棒的联邦算法。
• 对所提方法在（强）凸-（强）凹与非凸-非凹设置下进行理论分析。
• 通过分布式 GAN 训练对方法进行实证验证。

提出的方法

• 提出一种新的联邦算法——Extra Step Local SGD，通过在 Local SGD 基础上增加一个额外的“额外步骤”来提升鞍点问题中的收敛性能。
• 推导了在集中式与去中心化设置下，平滑鞍点问题收敛速率的理论下界。
• 通过算法设计使收敛速率与推导出的下界相匹配，从而实现最优收敛速率。
• 将该算法应用于非凸-非凹问题，扩展了其在标准凸-凹设置之外的适用范围。
• 采用局部更新并结合周期性全局平均，通过额外的梯度步骤增强训练稳定性，适用于鞍点区域。
• 在随机梯度与分布式通信约束条件下分析收敛性。

实验结果

研究问题

• RQ1 在集中式与去中心化设置下，分布式鞍点问题的收敛速率是否存在基本下界？
• RQ2 能否设计一种联邦算法，使其在凸-凹与非凸-非凹鞍点问题中均实现最优收敛速率？
• RQ3 在分布式 GAN 训练中，所提出的 Extra Step Local SGD 与标准 Local SGD 相比，在收敛性与鲁棒性方面表现如何？
• RQ4 在随机与分布式设置下，能否为该新算法建立理论保证？

主要发现

• 本文为平滑（强）凸-（强）凹鞍点问题中的集中式与去中心化方法建立了紧致下界。
• 所提出的 Extra Step Local SGD 达到了推导出的下界，证明了其在所考虑设置下的收敛速率最优性。
• 理论分析证实了该新算法在（强）凸-（强）凹与非凸-非凹问题下的收敛性。
• 实证结果表明，该方法在分布式 GAN 训练中具有显著有效性，表现出更高的稳定性和性能。