[论文解读] Local SGD for Saddle-Point Problems.

Aleksandr Beznosikov, Valentin Samokhin+1 more|arXiv (Cornell University)|Oct 25, 2020

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文提出了一种名为额外步骤局部SGD（Extra Step Local SGD）的新算法，用于解决大规模GAN训练中出现的平滑随机鞍点问题的分布式优化。通过利用带有额外步骤校正的本地更新，该方法实现了更高的通信效率，在强凸-强凹情况下理论通信复杂度为Ω(K^{2/3}M^{1/3})，在凸-凹情况下为Ω(K^{8/9}M^{4/9})。

ABSTRACT

GAN is one of the most popular and commonly used neural network models. When the model is large and there is a lot of data, the learning process can be delayed. The standard way out is to use multiple devices. Therefore, the methods of distributed and federated training for GANs are an important question. But from an optimization point of view, GANs are nothing more than a classical saddle-point problem: $\min_x \max_y f(x,y)$. Therefore, this paper focuses on the distributed optimization of the smooth stochastic saddle-point problems using Local SGD. We present a new algorithm specifically for our problem -- Extra Step Local SGD. The obtained theoretical bounds of communication rounds are $\Omega(K^{2/3} M^{1/3})$ in strongly-convex-strongly-concave case and $\Omega(K^{8/9} M^{4/9})$ in convex-concave (here $M$ -- number of functions (nodes) and $K$ - number of iterations).

研究动机与目标

• 为解决由于大模型和海量数据导致的分布式和联邦GAN训练中通信成本过高的问题。
• 开发一种专用于随机鞍点问题的通信高效优化方法。
• 分析在GAN及类似问题背景下局部更新方法的理论收敛速率。
• 通过引入额外步骤机制，改进现有局部SGD变体，以在非凸-凹设置下实现更好的收敛性。

提出的方法

• 提出一种新算法——额外步骤局部SGD，通过在标准局部SGD基础上增加一个额外的校正步骤，以改善鞍点问题中的收敛性。
• 在多个设备（M个节点）上进行本地更新，随后通过带有额外梯度校正的全局平均步骤，降低通信频率。
• 将该方法应用于形式为min_x max_y f(x,y)的平滑随机鞍点问题，这类问题在GAN中很常见。
• 在强凸-强凹和凸-凹假设下，推导出理论通信复杂度边界。
• 提出一种新颖的分析框架，以考虑本地更新与问题的极小-极大结构之间的相互作用。
• 采用随机逼近和去中心化优化的技术，在给定假设下建立收敛性保证。

实验结果

研究问题

• RQ1 能否有效将局部SGD适配到GAN训练中出现的鞍点问题，并实现更高的通信效率？
• RQ2 在分布式GAN优化中，本地计算与通信频率之间的最优权衡是什么？
• RQ3 与标准局部SGD相比，额外步骤如何改善非凸-凹鞍点问题中的收敛性？
• RQ4 在平滑随机鞍点问题背景下，局部SGD的理论通信复杂度边界能达到什么水平？
• RQ5 所提方法能否在收敛速率上优于现有的用于GAN的分布式优化方法？

主要发现

• 所提出的额外步骤局部SGD在强凸-强凹情况下实现了Ω(K^{2/3}M^{1/3})的通信复杂度，优于标准局部SGD。
• 在凸-凹设定下，该方法达到了Ω(K^{8/9}M^{4/9})的通信复杂度，显著提升了通信效率。
• 理论分析证实，额外步骤机制可减少与基线局部SGD相比所需的通信轮次。
• 该方法专为GAN及其他鞍点问题设计，适用于大规模分布式训练。
• 边界在标准的光滑性和随机梯度假设下推导得出，确保了实际相关性。
• 结果表明，带有校正步骤的本地更新能有效平衡分布式极小-极大优化中的通信与计算。