[论文解读] Distributed Optimization for Client-Server Architecture with Negative Gradient Weights

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|Aug 12, 2016

Privacy-Preserving Technologies in Data参考文献 24被引用 3

一句话总结

本文提出一种针对多参数服务器架构的同步分布式优化算法，通过使用随机负梯度权重在保障收敛性的同时增强隐私保护。该方法结合交错式一致性与投影梯度下降，证明了在任意时变拓扑下均能收敛，并通过时变权重实现更快的收敛速度，因减少了在最优解附近的振荡。

ABSTRACT

Availability of both massive datasets and computing resources have made machine learning and predictive analytics extremely pervasive. In this work we present a synchronous algorithm and architecture for distributed optimization motivated by privacy requirements posed by applications in machine learning. We present an algorithm for the recently proposed multi-parameter-server architecture. We consider a group of parameter servers that learn a model based on randomized gradients received from clients. Clients are computational entities with private datasets (inducing a private objective function), that evaluate and upload randomized gradients to the parameter servers. The parameter servers perform model updates based on received gradients and share the model parameters with other servers. We prove that the proposed algorithm can optimize the overall objective function for a very general architecture involving $C$ clients connected to $S$ parameter servers in an arbitrary time varying topology and the parameter servers forming a connected network.

研究动机与目标

• 解决在客户端持有敏感数据并仅共享梯度的分布式机器学习中的隐私问题。
• 为具有任意时变通信拓扑的多参数服务器架构，设计一种可证明收敛的优化算法。
• 通过在客户端上传时引入随机且可能为负的梯度权重，增强隐私保护，防止参数服务器推断出单个客户端的数据。
• 证明该算法在使用负权重和动态服务器通信模式的情况下，仍能保持正确性和收敛性。
• 分析服务器间通信拓扑对收敛速度和稳定性的影响。

提出的方法

• 该算法采用交错式一致性与投影梯度下降方法，参数服务器使用双随机权重矩阵执行一致性更新。
• 客户端计算并上传带有随机权重的梯度，权重可为负，从而隐藏真实梯度方向，防止参数服务器推断。
• 该方法采用时变学习率 Δ，并在标准条件下（求和与平方和约束）确保收敛。
• 一致性中使用的权重矩阵为双随机矩阵，满足严格极限条件（SLC）和有界上界条件（BUC）。
• 系统建模为 C 个客户端和 S 个参数服务器构成的网络，客户端到服务器及服务器间通信拓扑均为任意时变。
• 在梯度和收敛至零且决策集 𝒳 为凸且紧致的假设下，证明了收敛性。

实验结果

研究问题

• RQ1 在多参数服务器架构中，带有负梯度权重的分布式优化算法能否收敛至最优解？
• RQ2 服务器间通信拓扑的选择如何影响收敛速度和稳定性？
• RQ3 使用时变、随机的梯度权重是否能在不损害收敛性的前提下增强隐私保护？
• RQ4 当学习率为固定值且拓扑为时变时，该算法能否保持正确性和收敛性？
• RQ5 负权重对迭代轨迹及其与平均值偏差的影响是什么？

主要发现

• 只要参数服务器网络保持连通，该算法即可对任意时变的客户端与参数服务器拓扑收敛至最优解。
• 使用时变梯度权重可实现更快收敛，因为负权重可防止在最优解附近长期偏离。
• 参数服务器之间采用完全图拓扑时收敛速度最快，因其具备最优的信息混合能力。
• 尽管星型拓扑是常见设计选择，但在收敛速度和均方根误差降低方面表现最差。
• 环形图拓扑优于线性（路径）拓扑，因其具有更好的连通性与更快的信息混合速度。
• 即使在每次迭代中随机改变梯度权重，该算法仍能保持收敛，表明其对动态权重分配具有鲁棒性。