[论文解读] Stochastic, Distributed and Federated Optimization for Machine Learning

Jakub Konečný|arXiv (Cornell University)|Jul 4, 2017

Stochastic Gradient Optimization Techniques参考文献 156被引用 32

一句话总结

本文提出了一种新颖的随机、分布式和联邦优化算法，用于机器学习，实现了方差缩减的线性收敛，通过求解本地子问题降低了通信成本，并通过避免集中式数据收集实现了隐私保护训练。主要贡献是一个通信高效的框架，支持可扩展的去中心化学习，同时保持模型准确性和隐私性。

ABSTRACT

We study optimization algorithms for the finite sum problems frequently arising in machine learning applications. First, we propose novel variants of stochastic gradient descent with a variance reduction property that enables linear convergence for strongly convex objectives. Second, we study distributed setting, in which the data describing the optimization problem does not fit into a single computing node. In this case, traditional methods are inefficient, as the communication costs inherent in distributed optimization become the bottleneck. We propose a communication-efficient framework which iteratively forms local subproblems that can be solved with arbitrary local optimization algorithms. Finally, we introduce the concept of Federated Optimization/Learning, where we try to solve the machine learning problems without having data stored in any centralized manner. The main motivation comes from industry when handling user-generated data. The current prevalent practice is that companies collect vast amounts of user data and store them in datacenters. An alternative we propose is not to collect the data in first place, and instead occasionally use the computational power of users' devices to solve the very same optimization problems, while alleviating privacy concerns at the same time. In such setting, minimization of communication rounds is the primary goal, and we demonstrate that solving the optimization problems in such circumstances is conceptually tractable.

研究动机与目标

• 开发具有方差缩减的随机优化方法，实现在强凸问题上的线性收敛。
• 设计一种利用可由任意本地算法求解的本地子问题的通信高效分布式优化框架。
• 实现联邦优化，使数据保留在用户设备上，最大限度减少通信并保护隐私。
• 解决大规模分布式训练深度神经网络中的可扩展性和鲁棒性问题。
• 探索联邦优化作为分布式机器学习中可扩展计算模型的可行性。

提出的方法

• 提出S2GD和S2GD+——适用于强凸设置下具有方差缩减的半随机梯度下降方法，实现线性收敛。
• 引入一种分布式优化框架，每个节点上形成本地子问题，可独立使用任意本地优化算法求解。
• 采用通信高效的迭代方案，仅共享聚合更新，最大限度减少往返通信成本。
• 通过在用户设备上执行模型更新而非集中化数据，将该框架应用于联邦学习。
• 使用安全聚合协议隐藏用户个体贡献，防止服务器获取，从而增强隐私性。
• 通过注入噪声将差分隐私集成到框架中，为联邦设置提供正式的隐私保证。

实验结果

研究问题

• RQ1 具有方差缩减的随机方法是否可以在不计算完整梯度的情况下实现线性收敛？
• RQ2 在保持收敛性和准确性的前提下，如何最小化分布式优化中的通信成本？
• RQ3 联邦优化是否是现实系统中集中式训练的可行且可扩展的替代方案？
• RQ4 安全聚合和差分隐私能否与通信高效的优化框架集成？
• RQ5 在大规模部署联邦优化时，系统层面的挑战和设计权衡是什么？

主要发现

• S2GD和S2GD+在具有方差缩减的强凸目标上实现了线性收敛，收敛速度显著优于标准SGD。
• 所提出的具有本地子问题的分布式框架可在节点间实现高效扩展，减少通信开销的同时保持收敛性。
• 联邦优化使模型可在用户设备上训练而无需集中化数据，适用于隐私敏感的应用场景。
• 在联邦设置中，通信效率至关重要，该框架显著减少了达到收敛所需的通信轮次。
• 安全聚合和差分隐私可集成到该框架中，提供强大的隐私保证，同时不损害模型效用。
• 该框架在概念上清晰且可扩展，支持在移动设备上训练复杂模型（如RNN）