[论文解读] Federated Block Coordinate Descent Scheme for Learning Global and Personalized Models

Ruiyuan Wu, Anna Scaglione+4 more|arXiv (Cornell University)|Dec 27, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 6

一句话总结

该论文提出了一种联邦块坐标下降算法，通过利用分层的云-边通信架构，在联邦学习中联合优化全局模型与个性化模型。该方法通过二次惩罚公式实现异步云服务器更新与模型个性化，相较于同步方法，实现了次线性收敛速度与更低延迟。

ABSTRACT

In federated learning, models are learned from users' data that are held private in their edge devices, by aggregating them in the service provider's "cloud" to obtain a global model. Such global model is of great commercial value in, e.g., improving the customers' experience. In this paper we focus on two possible areas of improvement of the state of the art. First, we take the difference between user habits into account and propose a quadratic penalty-based formulation, for efficient learning of the global model that allows to personalize local models. Second, we address the latency issue associated with the heterogeneous training time on edge devices, by exploiting a hierarchical structure modeling communication not only between the cloud and edge devices, but also within the cloud. Specifically, we devise a tailored block coordinate descent-based computation scheme, accompanied with communication protocols for both the synchronous and asynchronous cloud settings. We characterize the theoretical convergence rate of the algorithm, and provide a variant that performs empirically better. We also prove that the asynchronous protocol, inspired by multi-agent consensus technique, has the potential for large gains in latency compared to a synchronous setting when the edge-device updates are intermittent. Finally, experimental results are provided that corroborate not only the theory, but also show that the system leads to faster convergence for personalized models on the edge devices, compared to the state of the art.

研究动机与目标

• 通过考虑用户特定的数据习惯和非独立同分布（non-i.i.d.）数据分布，解决联邦学习中的模型个性化问题。
• 降低由于边缘设备计算与通信时间异构性导致的同步联邦学习中的训练延迟。
• 设计一种支持模型个性化与异步云服务器更新的通信与计算框架。
• 在同步与异步设置下，对收敛性与延迟性能进行理论分析。

提出的方法

• 提出一种分层通信架构，结合主从网络与多智能体网络，以建模云-边通信与云间通信。
• 引入基于块坐标下降的计算方案，通过对偶变量交替更新本地模型与全局模型。
• 采用二次惩罚公式以平衡全局模型精度与本地模型个性化，实现灵活的权衡。
• 为同步与异步云环境设计定制化通信协议，其中异步协议受多智能体一致性技术启发。
• 采用基于对偶的更新机制，本地与全局变量根据梯度信息与一致性误差进行更新。
• 利用李雅普诺夫函数分析收敛性，并在随机梯度下推导出 O(1/√T) 的次线性收敛速率。

实验结果

研究问题

• RQ1 联邦学习框架能否同时支持个性化本地模型与异步云服务器更新？
• RQ2 与传统的同步联邦学习相比，所提出的分层通信架构如何降低延迟？
• RQ3 在异步更新下，所提出的块坐标下降算法的理论收敛速率是多少？
• RQ4 通过二次惩罚实现的模型个性化如何提升在非独立同分布用户数据上的性能？
• RQ5 间歇性边缘设备更新对系统延迟有何影响？异步协议能否缓解此问题？

主要发现

• 所提出的算法实现了 O(1/√T) 的次线性收敛速率，验证了在随机梯度下的理论收敛性。
• 异步通信协议显著降低了延迟，尤其在边缘设备更新不规律时效果更明显。
• 系统在边缘设备上的个性化模型收敛速度优于现有最先进方法。
• 收敛速率受设备数量、步长与梯度方差项的约束，明确依赖于 √T 与 √R。
• 通过二次惩罚公式平衡全局模型质量与本地个性化，实现了性能提升。
• 实验结果验证了理论分析，表明所提方案在收敛速度与个性化精度方面优于现有方法。