[论文解读] Federated Optimization:Distributed Optimization Beyond the Datacenter

Jakub Konečný, H. Brendan McMahan+1 more|arXiv (Cornell University)|Nov 11, 2015

Stochastic Gradient Optimization Techniques参考文献 13被引用 580

一句话总结

本文提出联邦优化（Federated Optimization），一种在大量设备上数据高度分布化、非独立同分布（non-IID）且不平衡时，用于训练集中式模型的通信高效分布式学习框架——例如智能手机。作者提出DSVRG，一种SVRG的变体，通过稀疏感知矩阵实现特征级自适应平均，以改善收敛性，在极少数通信轮次内即实现近乎最优性能，即使在极端数据偏斜和稀疏性条件下亦然。

ABSTRACT

We introduce a new and increasingly relevant setting for distributed optimization in machine learning, where the data defining the optimization are distributed (unevenly) over an extremely large number of odes, but the goal remains to train a high-quality centralized model. We refer to this setting as Federated Optimization. In this setting, communication efficiency is of utmost importance. A motivating example for federated optimization arises when we keep the training data locally on users' mobile devices rather than logging it to a data center for training. Instead, the mobile devices are used as nodes performing computation on their local data in order to update a global model. We suppose that we have an extremely large number of devices in our network, each of which has only a tiny fraction of data available totally; in particular, we expect the number of data points available locally to be much smaller than the number of devices. Additionally, since different users generate data with different patterns, we assume that no device has a representative sample of the overall distribution. We show that existing algorithms are not suitable for this setting, and propose a new algorithm which shows encouraging experimental results. This work also sets a path for future research needed in the context of federated optimization.

研究动机与目标

• 解决在大量设备上分布数据、每台设备仅持有少量非代表性数据子集时，训练高质量集中式模型的挑战。
• 克服现有通信高效算法在假设数据平衡、独立同分布（IID）且节点数少于数据点数时的局限性。
• 设计一种适用于实际移动和边缘设备（具有受限连接性和高计算能力）的可扩展优化方法。
• 通过将数据保留在设备端，实现有效全局模型更新，从而支持隐私保护的机器学习。
• 证明即使在严重数据不平衡和非独立同分布分布下，也能实现通信效率。

提出的方法

• 提出DSVRG（分布式随机方差缩减梯度），一种专为具有稀疏性、不平衡性和非独立同分布数据的联邦设置而设计的SVRG变体。
• 引入特征级自适应矩阵A，其中A_ii = K / ω_i，根据各特征在节点间的出现频率对更新进行缩放，从而改善稀有特征的收敛性。
• 在每台设备上执行多次本地迭代后再进行通信，以最小化通信轮次。
• 将自适应矩阵应用于在完全平均与独立更新之间插值，优先为在较少节点上出现的特征赋予更大的更新步长。
• 利用特征分布中的稀疏性模式来指导更新幅度，提升对数据偏斜的鲁棒性。
• 实施一种通信高效的协议，设备仅发送模型更新（而非原始数据），从而保护隐私并减少带宽消耗。

实验结果

研究问题

• RQ1 在每台设备仅持有少量非代表性数据子集的大量设备设置下，通信高效优化算法能否实现可靠收敛？
• RQ2 优化方法应如何调整以应对设备间极端数据不平衡和非独立同分布分布？
• RQ3 在设计联邦学习的分布式优化算法时，特征稀疏性起到何种作用？
• RQ4 基于特征频率对梯度进行自适应加权，能否提升联邦设置下的收敛速度和模型质量？
• RQ5 现有通信高效算法在具有不平衡、非独立同分布数据的真实联邦学习场景中，其失效程度如何？

主要发现

• 如DANE和DiSCO等现有通信高效算法在联邦优化设置中因数据不平衡和非独立同分布特性而发散。
• CoCoA虽能收敛，但显著慢于简单的分布式梯度下降，表明其在此设置下效率低下。
• DSVRG在极少数通信轮次内即实现近乎最优性能——即使在数据不平衡、非独立同分布条件下也表现出强大收敛性。
• DSVRG的性能几乎与使用随机重排数据的基线模型无异，表明其对数据偏斜具有高度鲁棒性。
• 使用自适应矩阵A显著提升了性能；若省略该矩阵，性能显著下降。
• 该方法可在极少通信量下实现有效模型训练，适用于连接间歇的移动和边缘设备。