[论文解读] Federated Optimization: Distributed Machine Learning for On-Device Intelligence

Jakub Konečný, H. Brendan McMahan+2 more|arXiv (Cornell University)|Oct 8, 2016

Stochastic Gradient Optimization Techniques参考文献 68被引用 1,652

一句话总结

这篇论文提出了在大规模分布、非IID、跨多设备的数据上进行联邦优化，并提出一种适用于稀疏凸问题的新算法，在减少通信轮次方面显示出令人鼓舞的实验结果。

ABSTRACT

We introduce a new and increasingly relevant setting for distributed optimization in machine learning, where the data defining the optimization are unevenly distributed over an extremely large number of nodes. The goal is to train a high-quality centralized model. We refer to this setting as Federated Optimization. In this setting, communication efficiency is of the utmost importance and minimizing the number of rounds of communication is the principal goal. A motivating example arises when we keep the training data locally on users' mobile devices instead of logging it to a data center for training. In federated optimziation, the devices are used as compute nodes performing computation on their local data in order to update a global model. We suppose that we have extremely large number of devices in the network --- as many as the number of users of a given service, each of which has only a tiny fraction of the total data available. In particular, we expect the number of data points available locally to be much smaller than the number of devices. Additionally, since different users generate data with different patterns, it is reasonable to assume that no device has a representative sample of the overall distribution. We show that existing algorithms are not suitable for this setting, and propose a new algorithm which shows encouraging experimental results for sparse convex problems. This work also sets a path for future research needed in the context of \federated optimization.

研究动机与目标

• 高亮联邦优化设置，其中数据在许多节点上大规模分布且非IID。
• 识别在这种设置下现有分布式优化方法的局限性。
• 提出针对稀疏、分布式数据的新算法并评估其通信效率。
• 展示在联邦情境下可以用更少的通信轮次训练出集中式模型。

提出的方法

• 将联邦优化问题公式化为数据分布在极大数量的节点上并进行本地计算。
• 开发一种新的分布式优化方法，不依赖IID样本或对数据的强集中化。
• 利用稀疏性结构设计适合联邦优化的有效算法。
• 关注在允许设备进行强大本地计算的同时，最小化通信轮次。
• 将更新框架为发送到中心服务器的小增量向量，减少有效载荷大小和隐私顾虑。

实验结果

研究问题

• RQ1 在大规模分布、非IID且不平衡的数据条件下，联邦优化能收敛到高质量的集中模型吗？
• RQ2 为实现联邦设置中的通信效率，尤其是针对稀疏数据，需要哪些算法改动？
• RQ3 稀疏性如何影响在设备端学习情境下分布式优化的设计与性能？
• RQ4 仅通过更新进行训练时，隐私与通信的实际影响有哪些？

主要发现

• 定义了一个新的联邦优化设置，其中数据在众多设备上大规模分布、非IID且不平衡。
• 现有算法并不适合联邦优化，促使提出的方法。
• 所提出的算法在稀疏凸问题上显示出鼓舞人心的实验结果，表明低通信收敛的潜力。
• 通过使用设备本地计算和小增量更新，可以显著减少通信轮次。
• 该框架支持在设备端训练并进行集中模型聚合，同时保持数据本地性和隐私考量。