[论文解读] Adaptive Federated Learning with Auto-Tuned Clients

Junhyung Lyle Kim, Mohammad Taha Toghani+2 more|arXiv (Cornell University)|Jun 19, 2023

Privacy-Preserving Technologies in DataComputer Science被引用 3

一句话总结

该论文提出了一种名为 $\Delta$-SGD 的联邦学习客户端自适应学习率规则，可根据客户端本地目标函数的平滑度自动调节每个客户端的学习率，从而消除手动调参的需要。该方法在多种联邦学习场景下（包括非独立同分布数据、不同模型架构和异构数据分布）均实现了最先进性能，无需额外调参，优于标准 SGD、Adam 和 Adagrad 在多个基准测试中的表现。

ABSTRACT

Federated learning (FL) is a distributed machine learning framework where the global model of a central server is trained via multiple collaborative steps by participating clients without sharing their data. While being a flexible framework, where the distribution of local data, participation rate, and computing power of each client can greatly vary, such flexibility gives rise to many new challenges, especially in the hyperparameter tuning on the client side. We propose $Δ$-SGD, a simple step size rule for SGD that enables each client to use its own step size by adapting to the local smoothness of the function each client is optimizing. We provide theoretical and empirical results where the benefit of the client adaptivity is shown in various FL scenarios.

研究动机与目标

• 解决联邦学习中客户端超参数调优的挑战，其中固定或全局共享的学习率因数据和系统异构性而表现欠佳。
• 克服现有方法在不同数据分布、模型架构和客户端参与模式下需进行大量网格搜索调优的局限性。
• 开发一种客户端自适应优化策略，根据本地函数曲率动态调整学习率，提升收敛速度与最终模型准确率，且无需人工干预。
• 证明基于本地函数曲率的客户端专属学习率自适应在非独立同分布数据和不同模型复杂度等多样化联邦学习场景中对模型鲁棒性至关重要。
• 为自适应客户端学习率相较于固定或全局共享学习率在真实联邦学习部署中的优越性提供理论与实证依据。

提出的方法

• 提出 $\Delta$-SGD，一种新颖的学习率规则，基于客户端损失函数的局部平滑度计算客户端专属学习率，利用对局部 Hessian 矩阵谱范数的动态估计。
• 引入客户端级别的自适应学习率更新规则：$\eta_i^t = \frac{\Delta_i^t}{\|\nabla f_i(x^t)\|}$，其中 $\Delta_i^t$ 是基于连续步骤间梯度差分得到的局部平滑度代理量。
• 将 $\Delta$-SGD 集成到标准 FedAvg 框架中，保持相同的通信与聚合协议，同时实现客户端级别的优化自适应。
• 使用梯度差分的移动平均来估计局部平滑度，避免显式计算 Hessian 矩阵，确保在资源受限客户端上的计算效率。
• 通过仅替换客户端侧优化器而不修改服务器端聚合逻辑，保持与现有联邦学习系统的向后兼容性。
• 通过在训练过程中持续更新局部平滑度估计，实现对数据分布变化和客户端计算速度波动的自动适应。

Figure 1: Illustration of the effect of not properly tuning the client step sizes. In (A), each client optimizer uses the best step size from grid-search. Then, the same step size from (A) is intentionally used in settings (B) and (C). Only $\Delta$ -SGD works well across all settings without additi

实验结果

研究问题

• RQ1 客户端自适应学习率规则是否能显著减少在多样化数据与系统异构性下的联邦学习手动超参数调优需求？
• RQ2 基于本地函数平滑度的客户端学习率自适应与固定或全局共享学习率相比，在收敛速度与最终模型准确率方面表现如何？
• RQ3 在不同模型架构（如 ResNet-18 与 ResNet-50）和不同数据分布（如 CIFAR-10 与 CIFAR-100）下，$\Delta$-SGD 是否无需重新调参即可保持强性能？
• RQ4 在异构联邦学习设置中，客户端侧自适应相较于 Adam 和 Adagrad 等自适应优化器有何优势？
• RQ5 当数据为非独立同分布或客户端数据量差异较大时，标准联邦优化器的性能对学习率选择的敏感度如何？

主要发现

• $\Delta$-SGD 在使用 ResNet-50 的 CIFAR-100 上实现了 57.5% 的最佳测试准确率，优于 Adam（51.1%）和 Adagrad（44.5%）超过 6 个百分点。
• 在使用 ResNet-18 的 CIFAR-10 上，$\Delta$-SGD 达到 80.4% 的测试准确率，仅次于无衰减 SGD（80.7%），显著优于 SGDM（75.0%）和 Adam（79.9%）在相同条件下的表现。
• 在客户端数据量异构（每客户端 100–500 个样本）的设置下，$\Delta$-SGD 保持优异性能，在 MOON 设置下于 CIFAR-10 上达到 83.1% 准确率，优于 Adam（82.4%）和 Adagrad（81.3%）。
• 该方法在所有测试场景中（包括非独立同分布数据、不同模型复杂度及内存受限设置如 MOON）持续优于所有基线方法，包括自适应优化器。
• 当使用在某一任务（如使用 ResNet-18 的 CIFAR-10）上微调的相同学习率规则时，$\Delta$-SGD 在不同任务（如使用 CNN 的 MNIST、使用 ResNet-50 的 CIFAR-100）上仍保持强性能，而其他方法则表现差或显著退化。
• 通过 $\Delta$-SGD，调优与非调优基线之间的性能差距被消除，在所有实验中均实现了接近最优的性能，且无需任何超参数调优。

Figure 2: The effect of stronger heterogeneity on different client optimizers, induced by the Dirichlet concentration parameter $\alpha\in\{0.01,0.1,1\}$ . $\Delta$ -SGD remains robust performance in all cases, whereas other methods show significant performance degradation when changing the level of