[论文解读] A Communication-efficient Algorithm with Linear Convergence for Federated Minimax Learning

Zhenyu Sun, Ermin Wei|arXiv (Cornell University)|Jun 2, 2022

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文提出 FedGDA-GT，一种通信高效的联邦极小极大学习算法，通过利用梯度追踪实现常数步长下的线性收敛。其通信轮数与集中式 GDA 的时间复杂度 O(log(1/ε)) 相当，并在收敛速度和精度上优于 Local SGDA。

ABSTRACT

In this paper, we study a large-scale multi-agent minimax optimization problem, which models many interesting applications in statistical learning and game theory, including Generative Adversarial Networks (GANs). The overall objective is a sum of agents' private local objective functions. We first analyze an important special case, empirical minimax problem, where the overall objective approximates a true population minimax risk by statistical samples. We provide generalization bounds for learning with this objective through Rademacher complexity analysis. Then, we focus on the federated setting, where agents can perform local computation and communicate with a central server. Most existing federated minimax algorithms either require communication per iteration or lack performance guarantees with the exception of Local Stochastic Gradient Descent Ascent (SGDA), a multiple-local-update descent ascent algorithm which guarantees convergence under a diminishing stepsize. By analyzing Local SGDA under the ideal condition of no gradient noise, we show that generally it cannot guarantee exact convergence with constant stepsizes and thus suffers from slow rates of convergence. To tackle this issue, we propose FedGDA-GT, an improved Federated (Fed) Gradient Descent Ascent (GDA) method based on Gradient Tracking (GT). When local objectives are Lipschitz smooth and strongly-convex-strongly-concave, we prove that FedGDA-GT converges linearly with a constant stepsize to global $ε$-approximation solution with $\mathcal{O}(\log (1/ε))$ rounds of communication, which matches the time complexity of centralized GDA method. Finally, we numerically show that FedGDA-GT outperforms Local SGDA.

研究动机与目标

• 解决联邦极小极大学习中通信效率与收敛精度之间的权衡问题。
• 克服 Local SGDA 的局限性，后者由于梯度噪声的存在，无法在常数步长下实现精确收敛。
• 提出一种在最小化通信轮数的同时，确保常数步长下线性收敛的方法。
• 利用 Rademacher 复杂度分析，为分布式极小极大学习提供泛化界。
• 在实验上证明所提方法优于现有方法（如 Local SGDA）

提出的方法

• 提出 FedGDA-GT，一种结合梯度追踪（GT）的联邦梯度下降上升算法，以减少通信开销。
• 引入梯度追踪以在本地更新过程中保持精确的梯度估计，从而实现常数步长下的收敛。
• 采用局部多步更新并结合周期性全局聚合，以降低通信频率。
• 应用 Rademacher 复杂度分析，推导经验极小极大目标的泛化界。
• 在强凸-强凹及利普希茨光滑假设下，证明算法在 O(log(1/ε)) 通信轮数内实现线性收敛至 ε-近似解。
• 借助梯度追踪的理论分析，确保在不减小步长的情况下实现收敛稳定性。

实验结果

研究问题

• RQ1 能否设计一种联邦极小极大算法，在最小化通信轮数的同时，实现常数步长下的线性收敛？
• RQ2 为何 Local SGDA 即使经过多次本地更新，也无法在常数步长下实现精确收敛？
• RQ3 相较于标准的本地更新策略，梯度追踪在联邦极小极大设置中如何提升收敛性能？
• RQ4 在统计采样条件下，分布式经验极小极大学习的泛化界可建立为何种形式？
• RQ5 所提方法在通信效率方面能否达到集中式 GDA 的时间复杂度？

主要发现

• FedGDA-GT 在常数步长下，于 O(log(1/ε)) 通信轮数内实现至 ε-近似解的线性收敛。
• 该算法的通信时间复杂度与集中式 GDA 相当，为该类问题的最优解。
• 在数值实验中，FedGDA-GT 表现优于 Local SGDA，展现出更快的收敛速度和更高的精度。
• 分布式极小极大学习的泛化界为 O(1/√N) 量级，与集中式情况一致，其中 N 为样本总数。
• 理论分析证实，由于持续存在的梯度噪声，Local SGDA 无法在常数步长下实现精确收敛。
• Rademacher 复杂度分析提供了与假设空间的度量熵及样本量相关的泛化界。