[论文解读] Convergence and Accuracy Trade-Offs in Federated Learning and Meta-Learning

Zachary Charles, Jakub Konečný|arXiv (Cornell University)|Mar 8, 2021

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文提出一个理论框架，分析联邦学习与元学习中的本地更新方法，表明其通过优化一个代理损失函数实现，该损失函数的条件数及其与真实损失的一致性由学习率和动量等超参数控制。核心贡献在于对收敛速度与最终模型准确率之间权衡的分析，通过帕累托前沿实现算法的公平比较，解释了如服务器动量优势和近端更新等现象。

ABSTRACT

We study a family of algorithms, which we refer to as local update methods, generalizing many federated and meta-learning algorithms. We prove that for quadratic models, local update methods are equivalent to first-order optimization on a surrogate loss we exactly characterize. Moreover, fundamental algorithmic choices (such as learning rates) explicitly govern a trade-off between the condition number of the surrogate loss and its alignment with the true loss. We derive novel convergence rates showcasing these trade-offs and highlight their importance in communication-limited settings. Using these insights, we are able to compare local update methods based on their convergence/accuracy trade-off, not just their convergence to critical points of the empirical loss. Our results shed new light on a broad range of phenomena, including the efficacy of server momentum in federated learning and the impact of proximal client updates.

研究动机与目标

• 理解为何FedAvg和MAML等本地更新方法在理论上收敛速率较慢的情况下，仍优于集中式SGD。
• 解决本地更新方法比较的挑战，这些方法通常依赖不同的超参数或假设。
• 形式化算法选择（如学习率和动量）所决定的收敛速度与最终模型准确率之间的权衡。
• 基于帕累托前沿开发一种新型比较框架，评估算法在整个收敛-准确率权衡路径上的表现，而不仅限于收敛至最优解。
• 在非凸任务上验证理论洞见，表明该权衡关系在二次模型之外依然存在。

提出的方法

• 理论分析表明，对于二次模型，本地更新方法等价于对一个代理损失函数的一阶优化。
• 明确刻画了代理损失函数，其条件数与真实损失的一致性由客户端学习率和动量等算法超参数控制。
• 推导出一种类比Bhatia-Davis不等式的新型不等式，用于分析优化动力学中的平均绝对偏差。
• 该框架引入帕累托前沿，基于算法在整个收敛-准确率权衡路径上的表现进行比较，而不仅关注收敛速度。
• 在非凸任务（FEMNIST、CIFAR-100、Shakespeare）上进行实证验证，通过调节服务器和客户端学习率，观察训练损失与准确率之间的权衡。
• 通过改变参数评估服务器动量和近端更新的影响，测量收敛行为与最终性能。

实验结果

研究问题

• RQ1 学习率和动量等算法选择如何影响本地更新方法中收敛速度与最终准确率之间的权衡？
• RQ2 为何FedAvg和MAML等本地更新方法在实践中常优于集中式SGD，尽管其理论收敛速率似乎更差？
• RQ3 超参数选择（如客户端学习率、动量）在多大程度上决定了算法是快速收敛至次优解，还是缓慢收敛至更优解？
• RQ4 能否开发一个统一框架，通过评估其整个收敛-准确率权衡路径，实现对多样化本地更新方法的公平比较？
• RQ5 在图像分类和语言建模等非凸设置中，二次模型中观察到的收敛-准确率权衡是否依然存在？

主要发现

• 对于二次模型，本地更新方法等价于对代理损失的一阶优化，且该代理损失的条件数与真实损失的一致性由超参数显式控制。
• 收敛速度与最终准确率之间的权衡是根本性的，由算法选择决定：更高的客户端学习率可提升收敛速度，但会降低最终准确率。
• 服务器动量（尤其是Heavy-ball）可在不损害准确率的前提下提升收敛速度，且在某些情况下，FedAvg配合Heavy-ball动量的权衡关系呈现对称性。
• 近端更新可降低代理损失的条件数，但会增加其与真实损失的不一致性，从而影响收敛-准确率权衡。
• 在非凸任务（FEMNIST、CIFAR-100、Shakespeare）上的实证结果表明，客户端学习率的选择导致训练损失在收敛速度与最终损失之间存在清晰权衡，验证了理论框架的有效性。
• 调节服务器学习率对实现最优收敛速率至关重要，若未正确调节，可能导致算法比较结果产生误导。