[论文解读] Mixed Federated Learning: Joint Decentralized and Centralized Learning

Sean Augenstein, Andrew Hard+5 more|arXiv (Cornell University)|May 26, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出混合联邦学习（Mixed Federated Learning），这是一种新颖的框架，通过联合优化去中心化（联邦）和中心化（数据中心）损失，在保护客户端数据隐私的前提下，显著降低通信与计算开销。通过引入服务端损失项并提出三种算法——并行训练（Parallel Training）、单向梯度传输（1-way Gradient Transfer）和双向梯度传输（2-way Gradient Transfer），该方法将通信与计算开销降低超过90%，并在分布匹配场景中达到与最优模型（oracle-level）相当的精度。

ABSTRACT

Federated learning (FL) enables learning from decentralized privacy-sensitive data, with computations on raw data confined to take place at edge clients. This paper introduces mixed FL, which incorporates an additional loss term calculated at the coordinating server (while maintaining FL's private data restrictions). There are numerous benefits. For example, additional datacenter data can be leveraged to jointly learn from centralized (datacenter) and decentralized (federated) training data and better match an expected inference data distribution. Mixed FL also enables offloading some intensive computations (e.g., embedding regularization) to the server, greatly reducing communication and client computation load. For these and other mixed FL use cases, we present three algorithms: PARALLEL TRAINING, 1-WAY GRADIENT TRANSFER, and 2-WAY GRADIENT TRANSFER. We state convergence bounds for each, and give intuition on which are suited to particular mixed FL problems. Finally we perform extensive experiments on three tasks, demonstrating that mixed FL can blend training data to achieve an oracle's accuracy on an inference distribution, and can reduce communication and computation overhead by over 90%. Our experiments confirm theoretical predictions of how algorithms perform under different mixed FL problem settings.

研究动机与目标

• 通过结合客户端去中心化数据与数据中心中心化数据，解决联邦学习中持续存在的分布偏移问题。
• 在表示学习任务中，特别是需要大规模负采样或嵌入正则化的场景下，降低客户端计算与通信开销。
• 通过确保原始客户端数据始终留在设备上，实现与服务端目标的联合优化，同时保障数据隐私。
• 为混合联邦学习提供理论基础坚实、隐私保护的算法，使其在一般非凸与强凸设置下均能收敛。
• 使混合联邦学习在实际应用中具备可部署性，例如移动键盘预测、面部属性分类和推荐系统。

提出的方法

• 提出三种算法：并行训练（PT）、单向梯度传输（1-w GT）和双向梯度传输（2-w GT），所有方法均通过将客户端数据保留在设备上，保障数据隐私。
• 引入混合损失函数 $ f(\bm{x}) = f_{\textrm{f}}(\bm{x}) + f_{\textrm{c}}(\bm{x}) $，其中 $ f_{\textrm{f}} $ 为联邦损失，$ f_{\textrm{c}} $ 为在服务端计算的中心化损失。
• 在 1-w GT 中，服务端将中心化损失的梯度发送给客户端，以改进客户端模型更新；在 2-w GT 中，客户端与服务端之间交换双向梯度。
• 采用“元联邦学习”视角分析 PT 与 2-w GT，将 $ f_{\textrm{f}} $ 与 $ f_{\textrm{c}} $ 视为元客户端，基于光滑性与有界方差假设，推导出收敛性边界。
• 通过递归边界与随机梯度方差控制，推导出 1-w GT 在非凸设置下的新型收敛性证明。
• 采用元优化视角控制客户端漂移并确保收敛，理论保证基于标准假设（Lipschitz光滑性、有界梯度）。

实验结果

研究问题

• RQ1 当推理分布与训练分布不一致时，联合使用中心化与去中心化数据进行训练，是否能提升模型泛化能力？
• RQ2 在表示学习中，服务端计算正则化项在多大程度上可降低客户端的通信与计算成本？
• RQ3 在不同数据与系统条件下，不同混合联邦学习算法（PT、1-w GT、2-w GT）在收敛速度与鲁棒性方面有何差异？
• RQ4 能否在非凸设置下建立混合联邦学习的理论收敛边界？其理论结果是否与实际性能一致？
• RQ5 当数据分布在客户端与数据中心之间时，混合联邦学习是否能达到与在完整推理分布上训练的‘最优’模型相当的性能？

主要发现

• 在基于用户嵌入的电影推荐任务中，混合联邦学习将通信开销降低 93.9%，客户端计算降低 99.9%，且模型质量无下降。
• 在面部属性分类与语言建模任务中，混合联邦学习的精度与在完整推理分布上训练的最优模型相当。
• 所有三种算法的理论收敛边界在强凸、一般凸与非凸设置下均成立，且显式依赖于数据方差与学习率。
• 1-w GT 算法的收敛速率为 $ \mathcal{O}\left(\frac{\left(\sigma^{2}+KS\sigma_{\textrm{c}}^{2}\right)\beta F}{KS\epsilon^{2}} + \frac{\beta F}{\epsilon}\right) $，证实其为次线性收敛。
• 实验结果验证了理论预测：在不同混合联邦学习问题设置下，性能与收敛边界一致。
• 所提算法通过融合来自多样化数据源（包括低端设备与罕见安全关键事件）的数据，有效缓解了分布偏移问题。