[论文解读] Federated Minimax Optimization: Improved Convergence Analyses and Algorithms

Pranay Sharma, Rohan Panda+2 more|arXiv (Cornell University)|Mar 9, 2022

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文提出并分析了联邦极小极大优化中的局部随机梯度下降-上升（Local SGDA），在非凸-凹和非凸-非凹问题中建立了最优阶的样本复杂度，并实现了与客户端数量成线性加速的通信效率。该文还提出了一种基于动量的变体，提升了收敛性，并在实验中优于标准的局部SGDA。

ABSTRACT

In this paper, we consider nonconvex minimax optimization, which is gaining prominence in many modern machine learning applications such as GANs. Large-scale edge-based collection of training data in these applications calls for communication-efficient distributed optimization algorithms, such as those used in federated learning, to process the data. In this paper, we analyze Local stochastic gradient descent ascent (SGDA), the local-update version of the SGDA algorithm. SGDA is the core algorithm used in minimax optimization, but it is not well-understood in a distributed setting. We prove that Local SGDA has extit{order-optimal} sample complexity for several classes of nonconvex-concave and nonconvex-nonconcave minimax problems, and also enjoys extit{linear speedup} with respect to the number of clients. We provide a novel and tighter analysis, which improves the convergence and communication guarantees in the existing literature. For nonconvex-PL and nonconvex-one-point-concave functions, we improve the existing complexity results for centralized minimax problems. Furthermore, we propose a momentum-based local-update algorithm, which has the same convergence guarantees, but outperforms Local SGDA as demonstrated in our experiments.

研究动机与目标

• 解决联邦极小极大优化中局部更新方法缺乏理论理解的问题，特别是针对非凸-凹和非凸-非凹设置。
• 改进联邦极小极大学习中局部SGDA的收敛性保证与通信效率。
• 在分布式极小极大优化中，实现与客户端数量成线性加速的最优阶样本复杂度。
• 提出并分析一种基于动量的局部更新算法，保持理论收敛性的同时提升实际性能。
• 提供更紧致的收敛性分析，改进现有集中式与联邦极小极大问题的结果，尤其在非凸-PL和非凸单点凹假设下。

提出的方法

• 提出局部SGDA作为分布式算法，其中客户端在与服务器通信前执行多次本地更新。
• 引入局部SGDA的基于动量的变体，利用递归梯度平均来稳定更新并提升收敛性。
• 使用新颖的理论技术，分析在非凸-凹、非凸-PL和非凸单点凹函数类下的收敛性。
• 为非凸单点凹问题建立通信复杂度为 $\mathcal{O}(\epsilon^{-7})$ 和随机梯度复杂度为 $\mathcal{O}(n^{-1}\epsilon^{-8})$。
• 推导出对近端函数 $\Phi_{1/2L_f}$ 的梯度范数期望的更紧界，从而提升样本复杂度。
• 采用统一的分析框架，考虑客户端漂移与通信频率，实现与客户端数量成线性加速。

实验结果

研究问题

• RQ1 局部SGDA能否在联邦非凸-凹极小极大优化中实现最优阶样本复杂度与线性加速？
• RQ2 所提出的基于动量的局部SGDA相较于标准局部SGDA，在收敛性与通信效率方面有何改进？
• RQ3 在局部更新下，非凸-PL与非凸单点凹极小极大问题的收敛性保证有何提升？
• RQ4 理论分析能否进一步收紧，以超越现有集中式与联邦极小极大收敛结果？
• RQ5 局部更新频率与动量对联邦设置中极小极大优化的实验性能有何影响？

主要发现

• 对于非凸单点凹问题，所提出的局部SGDA实现了 $\mathcal{O}(\epsilon^{-7})$ 的通信复杂度与 $\mathcal{O}(n^{-1}\epsilon^{-8})$ 的随机梯度复杂度，优于先前结果。
• 基于动量的局部SGDA变体保持了与标准局部SGDA相同的理论收敛保证，但在实验中表现出更优的性能。
• 该分析为非凸-凹与非凸-非凹问题建立了最优阶样本复杂度，并实现了与客户端数量成线性加速。
• 对于非凸-PL问题，该方法实现了 $\mathcal{O}(\kappa^3/\epsilon^3)$ 的通信轮数与 $\mathcal{O}(\kappa^4/(n\epsilon^4))$ 的随机梯度复杂度，优于现有集中式结果。
• 理论框架对近端函数梯度范数的期望给出了更紧的界，从而提升了收敛速率。
• 在公平分类与鲁棒神经网络训练上的实验表明，基于动量的局部SGDA在鲁棒测试损失与准确率方面均优于标准局部SGDA。