[论文解读] BASGD: Buffered Asynchronous SGD for Byzantine Learning

Yi-Rui Yang, Wu-Jun Li|arXiv (Cornell University)|Mar 2, 2020

Privacy-Preserving Technologies in Data参考文献 47被引用 6

一句话总结

该论文提出了一种新型的缓冲异步随机梯度下降方法 BASGD，用于抵抗通信错误和恶意攻击的拜占庭学习，且无需在服务器上存储训练数据，从而保障隐私。其理论收敛性与普通异步 SGD 相当，额外增加一个常数方差项，实证结果表明在遭受攻击或出现错误的情况下，其性能显著优于普通 ASGD 和其他 ABL 基线方法。

ABSTRACT

Distributed learning has become a hot research topic, due to its wide application in cluster-based large-scale learning, federated learning, edge computing and so on. Most distributed learning methods assume no error and attack on the workers. However, many unexpected cases, such as communication error and even malicious attack, may happen in real applications. Hence, Byzantine learning (BL), which refers to distributed learning with attack or error, has recently attracted much attention. Most existing BL methods are synchronous, which will result in slow convergence when there exist heterogeneous workers. Furthermore, in some applications like federated learning and edge computing, synchronization cannot even be performed most of the time due to the online workers (clients or edge servers). Hence, asynchronous BL (ABL) is more general and practical than synchronous BL (SBL). To the best of our knowledge, there exist only two ABL methods. One of them cannot resist malicious attack. The other needs to store some training instances on the server, which has the privacy leak problem. In this paper, we propose a novel method, called buffered asynchronous stochastic gradient descent (BASGD), for BL. BASGD is an asynchronous method. Furthermore, BASGD has no need to store any training instances on the server, and hence can preserve privacy in ABL. BASGD is theoretically proved to have the ability of resisting against error and malicious attack. Moreover, BASGD has a similar theoretical convergence rate to that of vanilla asynchronous SGD (ASGD), with an extra constant variance. Empirical results show that BASGD can significantly outperform vanilla ASGD and other ABL baselines, when there exists error or attack on workers.

研究动机与目标

• 解决现有同步拜占庭学习方法在异构工作节点环境中收敛速度慢的局限性。
• 克服在联邦学习和边缘计算等实际应用中因在线工作节点普遍存在的同步机制不切实际的问题。
• 设计一种异步拜占庭学习方法，通过避免在服务器端存储训练实例来保护客户端隐私。
• 确保在分布式学习系统中对通信错误和恶意攻击具备鲁棒性。
• 在保持对拜占庭工作节点的鲁棒性的同时，实现与普通异步 SGD 相当的理论收敛保证。

提出的方法

• 提出一种缓冲异步随机梯度下降（BASGD）框架，将梯度计算与参数更新解耦，从而实现异步操作。
• 在参数服务器上引入缓冲机制，临时存储来自工作节点的梯度，支持延迟和乱序更新。
• 应用一种鲁棒聚合规则，在更新过程中过滤或减轻损坏或恶意梯度的影响。
• 仅依赖梯度信息，不将任何训练实例存储于服务器，从而保障数据隐私。
• 理论上证明在拜占庭条件下具有收敛性，收敛速率与普通 ASGD 相当，仅增加一个额外的常数方差项。
• 采用随机梯度下降更新规则，服务器异步聚合来自多个工作节点的梯度，并应用一种对拜占庭攻击具有抵抗能力的聚合策略。

实验结果

研究问题

• RQ1 能否设计一种异步拜占庭学习方法，避免在服务器上存储训练数据，从而保护隐私？
• RQ2 所提出的 BASGD 方法在拜占庭条件下是否能保持与普通异步 SGD 相当的收敛特性？
• RQ3 BASGD 是否能有效抵抗分布式学习环境中通信错误和恶意攻击？
• RQ4 当工作节点遭受错误或攻击时，BASGD 在实证性能上是否显著优于普通 ASGD 和其他现有 ABL 基线方法？
• RQ5 BASGD 在异步和拜占庭工作节点条件下，其理论收敛行为如何？

主要发现

• BASGD 实现了理论收敛，收敛速率与普通异步 SGD 相当，仅增加一个额外的常数方差项。
• 该方法成功抵抗了工作节点的通信错误和恶意攻击，保持了学习的稳定性。
• BASGD 不需要在服务器上存储任何训练实例，消除了因数据保留导致的隐私泄露风险。
• 实证结果表明，BASGD 在遭受攻击或出现错误条件下的模型准确率显著优于普通 ASGD 和其他 ABL 基线方法。
• 缓冲机制实现了高效的异步更新，同时不损害收敛性或鲁棒性。
• 所提出的方法在联邦学习和边缘计算等实际应用中具有可行性，这些场景中同步不可行且隐私至关重要。