[论文解读] Byzantine-Tolerant Machine Learning

Peva Blanchard, El Mahdi El Mhamdi+2 more|arXiv (Cornell University)|Mar 8, 2017

Privacy-Preserving Technologies in Data参考文献 19被引用 23

一句话总结

本文提出Krum，一种抗拜占庭故障的随机梯度下降（SGD）更新规则，该规则从n个工作者中选择最可靠的梯度向量，可容忍最多f个拜占庭故障。通过使用基于距离的选择机制，最小化与其他向量的平方距离之和，Krum确保在任意工作者行为下仍能收敛，时间复杂度为O(n²(d + log n))。

ABSTRACT

The growth of data, the need for scalability and the complexity of models used in modern machine learning calls for distributed implementations. Yet, as of today, distributed machine learning frameworks have largely ignored the possibility of arbitrary (i.e., Byzantine) failures. In this paper, we study the robustness to Byzantine failures at the fundamental level of stochastic gradient descent (SGD), the heart of most machine learning algorithms. Assuming a set of $n$ workers, up to $f$ of them being Byzantine, we ask how robust can SGD be, without limiting the dimension, nor the size of the parameter space. We first show that no gradient descent update rule based on a linear combination of the vectors proposed by the workers (i.e, current approaches) tolerates a single Byzantine failure. We then formulate a resilience property of the update rule capturing the basic requirements to guarantee convergence despite $f$ Byzantine workers. We finally propose Krum, an update rule that satisfies the resilience property aforementioned. For a $d$-dimensional learning problem, the time complexity of Krum is $O(n^2 \cdot (d + \log n))$.

研究动机与目标

• 解决分布式机器学习系统中缺乏拜占庭容错的问题，特别是在随机梯度下降（SGD）框架中。
• 揭示线性聚合方法（如平均）即使面对单个拜占庭工作者也存在根本性脆弱性。
• 提出一种弹性属性，保证在f个拜占庭工作者存在的情况下SGD仍能收敛，确保更新方向与真实梯度对齐。
• 设计并分析Krum，一种非线性、基于距离的聚合规则，用于从工作者输出中选择最一致的梯度向量。
• 将该方法扩展至m-Krum，通过选择多个鲁棒向量来提升学习效率，同时保持弹性。

提出的方法

• 提出一种弹性属性，要求所选更新向量的方向与真实梯度对齐，并且其统计矩（最高至四阶）有界。
• 引入Krum作为函数，通过最小化到所有其他向量的平方距离之和来选择向量，从而确保对拜占庭输入的鲁棒性。
• 将每个工作者的梯度向量的Krum得分定义为 $ \text{score}(i) = \sum_{j \neq i} \|V_i - V_j\|^2 $，并选择得分最小的向量。
• 通过迭代选择得分最小的前m个向量，并从池中移除每个已选向量，将Krum扩展为m-Krum。
• 使用概率分析表明，在梯度分布和工作者行为满足弱假设的前提下，期望更新方向仍与真实梯度对齐。
• 证明所选向量与真实梯度之间夹角余弦存在下界，其量化表达式为 $ \sin\alpha = \frac{\eta(n,f)\sqrt{d}\sigma}{\|g\|} $，其中 $ \eta(n,f) $ 是n和f的函数。

实验结果

研究问题

• RQ1 线性聚合方法（如平均）能否在分布式SGD中容忍单个拜占庭工作者？
• RQ2 何种最小条件可保证在f个拜占庭工作者存在时，更新规则仍能收敛？
• RQ3 像Krum这样的非线性、基于距离的选择规则，能否在高维参数空间中实现拜占庭弹性？
• RQ4 Krum的弹性性能如何随工作者数量和拜占庭故障数的变化而变化？
• RQ5 m-Krum变体能否在保持拜占庭弹性的同时提升学习效率？

主要发现

• 任何工作者更新的线性组合都无法容忍单个拜占庭工作者，因为此类故障可任意扭曲平均值。
• Krum通过选择与其他所有向量距离最近的梯度向量来确保收敛，从而有效过滤由拜占庭工作者引起的异常值。
• Krum的时间复杂度为 $ O(n^2(d + \log n)) $，在中等规模n下可行，但随工作者数量呈二次增长。
• 当n较大时，m-Krum函数是 $ (\alpha, f) $-拜占庭弹性，其中 $ \sin\alpha = \frac{\eta(n,f)\sqrt{d}\sigma}{\|g\|} $，确保更新方向与真实梯度对齐。
• 弹性边界取决于噪声幅度 $ \sqrt{d}\sigma $ 与真实梯度范数 $ \|g\| $ 的比值，该比值越小，弹性越强。
• 本文未解决边界 $ 2f + 2 < n $ 是否紧致，以及 $ \eta(n,f) = O(n) $ 因子是否可减小以提升可扩展性的问题。