[论文解读] Central Server Free Federated Learning over Single-sided Trust Social Networks

Chaoyang He, Conghui Tan+3 more|arXiv (Cornell University)|Oct 11, 2019

Privacy-Preserving Technologies in Data参考文献 45被引用 62

一句话总结

本论文介绍 Online Push-Sum (OPS)，一种不依赖集中服务器的联邦学习算法，能够在具有行随机权重的单边信任（非对称）社交网络上工作，并提供遗憾分析和隐私考量。

ABSTRACT

Federated learning has become increasingly important for modern machine learning, especially for data privacy-sensitive scenarios. Existing federated learning mostly adopts the central server-based architecture or centralized architecture. However, in many social network scenarios, centralized federated learning is not applicable (e.g., a central agent or server connecting all users may not exist, or the communication cost to the central server is not affordable). In this paper, we consider a generic setting: 1) the central server may not exist, and 2) the social network is unidirectional or of single-sided trust (i.e., user A trusts user B but user B may not trust user A). We propose a central server free federated learning algorithm, named Online Push-Sum (OPS) method, to handle this challenging but generic scenario. A rigorous regret analysis is also provided, which shows very interesting results on how users can benefit from communication with trusted users in the federated learning scenario. This work builds upon the fundamental algorithm framework and theoretical guarantees for federated learning in the generic social network scenario.

研究动机与目标

• 在无法使用中央服务器或与中央服务器的通信成本过高时，激励联邦学习。
• 使在具有单边信任（非对称拓扑）的有向图上实现去中心化学习成为可能。
• 开发一个在线、无梯度的交换协议，仅使用模型参数来保护隐私。
• 提供能够将对抗性和随机损失成分分离的遗憾界限。
• 在多种网络设置下展示 OPS 的鲁棒性和隐私优势。

提出的方法

• 提出 Online Push-Sum (OPS)，一种去中心化算法，仅交换模型参数，并使用行随机混淆矩阵 W。
• 使用带梯度下降的本地更新来计算中间变量 z 和归一化因子 ω，然后通过 push-sum 聚合以获得更新后的本地模型 x。
• 放宽对称性/双随机性的要求，使得任意网络拓扑和单边信任成为可能。
• 提供将损失分解为对抗性和随机成分的遗憾分析；推导最优学习率 γ。
• 若 W 不是双随机的，ω 可确保聚合无偏；当 W 为双随机时，退化为标准在线梯度方法。

实验结果

研究问题

• RQ1 在具有单边信任边且没有中央服务器的网络上，联邦学习能否有效进行？
• RQ2 当通信遵循行随机、有向拓扑时，收敛（遗憾）性质如何？
• RQ3 在不同网络规模和密度下，OPS 与集中式及其他去中心化方法的比较如何？
• RQ4 通过交换模型而非梯度或原始数据，OPS 是否能保持隐私？

主要发现

• OPS 在最优选择的 γ 下，达到数量级为 O(nGR√T + σR(1+√(nC2))√(nT)) 的遗憾界，在特定情况下与已知的在线优化速率相匹配。
• 在适当设置下，所有客户端的模型收敛到相同模型，速率为 O(1/T)（定理 3）。
• OPS 优于依赖对称/双随机拓扑的去中心化在线梯度方法，并从单边信任拓扑中获益。
• 网络密度的增加提升性能，且更大的网络可以提供更多的随机样本，加速收敛。
• OPS 通过交换模型而非梯度或数据来保持隐私优势，在非对称网络中增加对对手推断的难度。