[论文解读] Byzantine Fault-Tolerant Distributed Machine Learning Using Stochastic Gradient Descent (SGD) and Norm-Based Comparative Gradient Elimination (CGE)

Nirupam Gupta, Shuo Liu+1 more|arXiv (Cornell University)|Aug 11, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 10

一句话总结

本文提出了一种基于D-SGD的拜占庭容错分布式机器学习框架，采用一种新颖的基于范数的梯度过滤方法——比较梯度消除（CGE）。CGE在每次迭代中自适应地消除f个欧几里得范数最大的随机梯度，从而在存在最多f个拜占庭代理的情况下仍能收敛至最优模型，同时保持计算简单，并实现与最先进方法（如multi-KRUM和几何平均中位数）相当的容错能力。

ABSTRACT

This paper considers the Byzantine fault-tolerance problem in distributed stochastic gradient descent (D-SGD) method - a popular algorithm for distributed multi-agent machine learning. In this problem, each agent samples data points independently from a certain data-generating distribution. In the fault-free case, the D-SGD method allows all the agents to learn a mathematical model best fitting the data collectively sampled by all agents. We consider the case when a fraction of agents may be Byzantine faulty. Such faulty agents may not follow a prescribed algorithm correctly, and may render traditional D-SGD method ineffective by sharing arbitrary incorrect stochastic gradients. We propose a norm-based gradient-filter, named comparative gradient elimination (CGE), that robustifies the D-SGD method against Byzantine agents. We show that the CGE gradient-filter guarantees fault-tolerance against a bounded fraction of Byzantine agents under standard stochastic assumptions, and is computationally simpler compared to many existing gradient-filters such as multi-KRUM, geometric median-of-means, and the spectral filters. We empirically show, by simulating distributed learning on neural networks, that the fault-tolerance of CGE is comparable to that of existing gradient-filters. We also empirically show that exponential averaging of stochastic gradients improves the fault-tolerance of a generic gradient-filter.

研究动机与目标

• 解决分布式随机梯度下降（D-SGD）中的拜占庭故障问题，其中故障代理可能发送任意错误的梯度并破坏学习过程。
• 设计一种计算高效的梯度过滤器，实现容错能力，同时无需复杂的统计假设或高计算开销。
• 证明基于范数的过滤结合自适应阈值可实现与multi-KRUM和几何平均中位数等先进方法相当的鲁棒性。
• 研究指数平均对通用梯度过滤器在拜占庭环境下的容错能力的影响。

提出的方法

• 提出比较梯度消除（CGE），一种基于范数的梯度过滤器，每次迭代中移除f个欧几里得范数最大的随机梯度。
• 采用自适应阈值进行梯度消除，根据非故障代理梯度的范数动态调整，不同于固定阈值方法。
• 引入随机梯度的指数平均，以提高梯度过滤过程的鲁棒性。
• 采用基于可信服务器的架构，服务器在D-SGD中应用CGE对过滤后的梯度进行处理，再更新全局模型参数。
• 在标准随机假设下建立理论收敛边界，表明期望误差以速率ρ < 1几何级衰减。
• 推导出期望平方误差的递归不等式，证明算法可收敛至最优模型参数w*的有界误差范围内。

实验结果

研究问题

• RQ1 是否可以通过一种简单的基于范数的梯度过滤器结合自适应阈值，在分布式SGD中实现拜占庭容错，并具备理论保证？
• RQ2 所提出的CGE过滤器在容错性能上与现有方法（如multi-KRUM、几何平均中位数和谱过滤器）相比如何？
• RQ3 随机梯度的指数平均是否能增强通用梯度过滤器在拜占庭代理存在下的容错能力？
• RQ4 在随机梯度假设下，当D-SGD方法增强CGE后，其理论收敛行为如何？

主要发现

• CGE过滤器在标准随机假设下，可保证对最多f个拜占庭代理的容错，确保收敛至最优模型的邻域。
• 理论分析表明，期望平方误差以速率ρ < 1几何级衰减，证明算法可在有界误差范围M²内收敛至w*。
• 在神经网络上的实证评估表明，CGE实现的容错能力与multi-KRUM和几何平均中位数等先进方法相当。
• 实验证明，随机梯度的指数平均可提升任意通用梯度过滤器（包括CGE）的容错能力。
• CGE中的自适应阈值对于容错至关重要，使其与在对抗性梯度攻击下会失效的固定阈值范数过滤器区分开来。
• 该方法在计算复杂度上低于现有鲁棒过滤器（如multi-KRUM和谱过滤器），同时保持了相当的鲁棒性。