[论文解读] Mime: Mimicking Centralized Stochastic Algorithms in Federated Learning

Sai Praneeth Karimireddy, Martin Jaggi+5 more|arXiv (Cornell University)|Aug 8, 2020

Privacy-Preserving Technologies in Data参考文献 68被引用 94

一句话总结

Mime 提供了一个通用框架，用于将集中化优化算法适配到跨设备联邦学习，减少客户端漂移并通过本地更新实现渐近加速，包括基于动量的方差缩减。

ABSTRACT

Federated learning (FL) is a challenging setting for optimization due to the heterogeneity of the data across different clients which gives rise to the client drift phenomenon. In fact, obtaining an algorithm for FL which is uniformly better than simple centralized training has been a major open problem thus far. In this work, we propose a general algorithmic framework, Mime, which i) mitigates client drift and ii) adapts arbitrary centralized optimization algorithms such as momentum and Adam to the cross-device federated learning setting. Mime uses a combination of control-variates and server-level statistics (e.g. momentum) at every client-update step to ensure that each local update mimics that of the centralized method run on iid data. We prove a reduction result showing that Mime can translate the convergence of a generic algorithm in the centralized setting into convergence in the federated setting. Further, we show that when combined with momentum based variance reduction, Mime is provably faster than any centralized method--the first such result. We also perform a thorough experimental exploration of Mime's performance on real world datasets.

研究动机与目标

• 在跨设备联邦学习中缓解客户端漂移。
• 将任意集中化优化算法（例如动量、Adam）适配到 FL。
• 提供收敛性保证，确保 Mime 保持或提升相对于集中基线的收敛性。
• 证明结合 Mime 的基于动量的方差缩减导致的收敛速度快于仅服务器端方法。
• 通过真实数据集的实证实验验证 Mime 及其轻量变体 MimeLite。

提出的方法

• 引入 Mime，一个使用服务器端优化器状态和 SVRG 风格校正的框架，使每个本地客户端更新在独立同分布数据上模拟相应的集中更新。
• 将基础集中式优化器表示为一对组件：更新函数 U(g, s) 和优化器状态更新 V(g, s)。
• 在服务器上使用服务器参数的全梯度计算全局优化器状态，并在本地客户端更新期间保持该状态不变。
• 在本地更新期间，对有偏或经过修正的梯度应用基础优化器的更新 U 以降低漂移，使用类似 SVRG 的校正（Mime）或简单的本地小批量梯度（MimeLite）。
• 给出一个通用的收敛性化简：如果基础优化器收敛鲁棒，Mime 通过本地步骤继承收敛性；并且在海森矩阵不相似性下，分析特定的基于动量的方差缩减（MVR）以超越服务器端的下界。

实验结果

研究问题

• RQ1 是否可以将任意集中式优化器在不引入客户端漂移的情况下如实转移到跨设备 FL 设置？
• RQ2 在何种条件下 Mime 与 MimeLite 相对于集中方法和仅服务器的 FL 基线保持或提升收敛？
• RQ3 在联邦学习中，在 Mime 中引入基于动量的方差缩减（MVR）是否会带来相对于仅服务器端方法的渐近加速？
• RQ4 异质性度量（G^2、δ）如何影响 Mime/MimeLite 的收敛速度与潜在加速？
• RQ5 在真实的联邦数据集上，Mime 和 MimeLite 相对于 FedAvg 及其他 FL 基线的经验表现如何？

主要发现

• Mime 降低了客户端漂移，并将通用集中式算法的收敛性转化到联邦设置。
• 带有 MVR 的 Mime 可以超越服务器端方法的下界，当海森矩阵不相似性 δ 相较于光滑常数 L 较小时。
• 在真实世界数据集的实证实验中，Mime 与 MimeLite 比 FedAvg 收敛得更快。
• 在每次客户端更新中在本地应用动量比仅在服务器端应用动量带来更强的性能提升。
• MimeLite 在实践中与 Mime 较为接近，并且可以在更简单的修正下实现类似的加速效果。
• 理论结果包括一个化简定理以及 Mime 在跨设备 FL 中渐近加速收敛的条件。