[论文解读] LEASGD: an Efficient and Privacy-Preserving Decentralized Algorithm for Distributed Learning

Hsin-Pai Cheng, Patrick Yu+5 more|arXiv (Cornell University)|Nov 27, 2018

Privacy-Preserving Technologies in Data参考文献 2被引用 16

一句话总结

LEASGD 是一种新颖的去中心化深度学习算法，结合了领导者-追随者通信拓扑结构、弹性平均和差分隐私，实现了更快的收敛速度和更低的通信成本。与 DPSGD 相比，它在更小的隐私预算下将训练损失降低了 30%，同时在私有设置下保持了更高的准确率。

ABSTRACT

Distributed learning systems have enabled training large-scale models over large amount of data in significantly shorter time. In this paper, we focus on decentralized distributed deep learning systems and aim to achieve differential privacy with good convergence rate and low communication cost. To achieve this goal, we propose a new learning algorithm LEASGD (Leader-Follower Elastic Averaging Stochastic Gradient Descent), which is driven by a novel Leader-Follower topology and a differential privacy model.We provide a theoretical analysis of the convergence rate and the trade-off between the performance and privacy in the private setting.The experimental results show that LEASGD outperforms state-of-the-art decentralized learning algorithm DPSGD by achieving steadily lower loss within the same iterations and by reducing the communication cost by 30%. In addition, LEASGD spends less differential privacy budget and has higher final accuracy result than DPSGD under private setting.

研究动机与目标

• 设计一种去中心化学习系统，确保差分隐私，同时不牺牲收敛速度或通信效率。
• 通过仅将参数交换限制在动态的领导者-追随者对之间，降低去中心化训练中的通信成本。
• 利用弹性平均和基于动量的隐私会计方法，改善收敛速度与隐私-准确率之间的权衡。
• 在非私有和私有学习设置下，评估所提出方法的可扩展性和鲁棒性。

提出的方法

• LEASGD 采用动态的领导者-追随者拓扑结构，其中领导者（低损失工作者）通过弹性平均引导追随者（高损失工作者），以提升收敛性能。
• 它使用一种弹性更新规则，通过在领导者和追随者参数之间施加一种力来稳定训练并加速收敛。
• 该算法通过添加经基于动量的隐私会计方法缩放的噪声来集成差分隐私，与经典组合定理相比，该方法能更紧地约束隐私预算边界。
• 通信仅限于领导者-追随者对之间，与 D-PSGD 相比，总传输向量数量减少了 30%。
• 理论分析证明，在强凸性条件下，收敛速率为 O(h^t)，其中 h < 1，且随着工作者数量 p 增加而减小。
• 通过用总噪声方差（σ₁² + C²σ₂²）替代梯度噪声方差来量化隐私权衡，表明在工作者规模增加时仍具有稳定的可扩展性。

实验结果

研究问题

• RQ1 去中心化学习系统是否能在保持差分隐私的同时实现更快的收敛速度和更低的通信成本？
• RQ2 与传统的去中心化通信相比，领导者-追随者拓扑结构在收敛性和通信效率方面表现如何？
• RQ3 基于动量的隐私会计方法对去中心化训练中总隐私预算（ε）有何影响？
• RQ4 在增加工作者数量时，LEASGD 在隐私预算和最终模型准确率方面如何扩展？
• RQ5 添加 DP 噪声是否能提升去中心化训练中的泛化能力，特别是在逃离局部最优解方面？

主要发现

• 与 D-PSGD 相比，LEASGD 在传输向量数量上实现了 30% 的通信成本降低。
• 在非私有设置下，LEASGD 在相同迭代次数内收敛更快，且达到的训练损失更低。
• 在差分隐私设置下，LEASGD 实现了更高的最终准确率（例如，在 MNIST 上达到 97%，而 D-PSGD 在 m=15 时为 95%），且总隐私预算更低（ε = 4.651 vs. 4.843）。
• 随着工作者数量的增加，LEASGD 的最终准确率保持稳定，表明其在私有设置下具有强大的可扩展性。
• 由于基于动量的会计方法提供了比经典组合定理更紧的边界，隐私预算随系统规模增长缓慢。
• LEASGD 的收敛速率是 O(h^t)，呈指数衰减，长期来看快于 D-PSGD 的 O(1/[(p+1)t]) 收敛速率。