[论文解读] Fixing by Mixing: A Recipe for Optimal Byzantine ML under Heterogeneity

Youssef Allouah, Sadegh Farhadkhani+4 more|arXiv (Cornell University)|Feb 3, 2023

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出近邻混合（Nearest Neighbor Mixing, NNM），一种预聚合技术，可在数据异构性条件下提升拜占庭鲁棒性分布式机器学习的性能。通过将每个工作者的梯度与其最近邻的梯度进行加权平均，NNM 降低了方差与漂移，使标准鲁棒聚合规则能够实现最优拜占庭鲁棒性——在 D-GD 和 D-SHB 中，其期望性能均达到理论下限，实证表现优于先前方法。

ABSTRACT

Byzantine machine learning (ML) aims to ensure the resilience of distributed learning algorithms to misbehaving (or Byzantine) machines. Although this problem received significant attention, prior works often assume the data held by the machines to be homogeneous, which is seldom true in practical settings. Data heterogeneity makes Byzantine ML considerably more challenging, since a Byzantine machine can hardly be distinguished from a non-Byzantine outlier. A few solutions have been proposed to tackle this issue, but these provide suboptimal probabilistic guarantees and fare poorly in practice. This paper closes the theoretical gap, achieving optimality and inducing good empirical results. In fact, we show how to automatically adapt existing solutions for (homogeneous) Byzantine ML to the heterogeneous setting through a powerful mechanism, we call nearest neighbor mixing (NNM), which boosts any standard robust distributed gradient descent variant to yield optimal Byzantine resilience under heterogeneity. We obtain similar guarantees (in expectation) by plugging NNM in the distributed stochastic heavy ball method, a practical substitute to distributed gradient descent. We obtain empirical results that significantly outperform state-of-the-art Byzantine ML solutions.

研究动机与目标

• 为解决在数据异构性条件下拜占庭机器学习中理论缺口的问题，此前方法无法实现最优鲁棒性。
• 应对数据异构性掩盖拜占庭行为的问题，使其难以与非拜占庭异常值区分。
• 设计一种机制，自动将现有同质拜占庭机器学习解决方案适配至异构环境，同时不损失最优性。
• 证明 NNM 使标准鲁棒聚合规则在异构性条件下实现最优收敛保证。
• 通过实证验证，NNM 增强的 D-SHB 在期望下达到理论下限，且优于当前最先进方法。

提出的方法

• 提出近邻混合（Nearest Neighbor Mixing, NNM），一种预聚合方法，基于梯度相似性，对每个工作者的梯度与其 k 个最近邻的梯度进行加权平均。
• 引入一种新型鲁棒性准则——$(f,\kappa)$-鲁棒性，用于量化在存在 $f$ 个拜占庭工作者时，聚合规则对诚实工作者输入平均值的估计能力。
• 证明 NNM 可将诚实梯度的方差降低 $\mathcal{O}(f/n)$ 倍，从而使任意 $(f,\mathcal{O}(1))$-鲁棒聚合规则实现最优鲁棒性。
• 将 NNM 应用于分布式梯度下降（D-GD）和分布式随机重球法（D-SHB），确保收敛至与理论下限匹配的近似驻点。
• 在 MNIST、Fashion-MNIST 和 CIFAR-10 上，对多种聚合规则（Krum、GM、CWMed、CWTM）在不同拜占庭与异构性条件下进行实证评估。
• 结合合成攻击（FOE、ALIE、Mimic、SF、LF）与通过参数 $\alpha$ 控制的数据异构性，评估鲁棒性与收敛性。

实验结果

研究问题

• RQ1 现有拜占庭鲁棒聚合规则能否被适配以在数据异构性条件下实现最优鲁棒性？
• RQ2 如 NNM 这类预聚合机制是否能降低数据异构性对拜占庭梯度聚合的负面影响？
• RQ3 NNM 是否能使标准鲁棒聚合规则在异构性条件下匹配收敛误差的理论下限？
• RQ4 NNM 与 D-SHB 的结合是否能在存在随机梯度与数据子采样的情况下，实现期望下的最优收敛？
• RQ5 在多样化的攻击与异构性设置下，NNM 与 Bucketing 和原始鲁棒聚合等先前方法相比，实证表现如何？

主要发现

• NNM 使任意 $(f,\mathcal{O}(1))$-鲁棒聚合规则在数据异构性条件下实现最优拜占庭鲁棒性，收敛误差达到理论下限。
• 经 NNM 增强的 D-GD 变体在确定性设置下实现最优收敛，误差受 $f \cdot \text{max dispersion} / n$ 限制。
• 在随机设置下，NNM 组合的 D-SHB 在期望下匹配理论下限，且无额外随机性来源，因此实证性能优于先前的随机化方法。
• 在 MNIST、Fashion-MNIST 和 CIFAR-10 上的实证结果表明，NNM 在所有攻击类型（FOE、ALIE、Mimic、SF、LF）与异构性水平（$\alpha = 0.1, 1, 10$）下均持续优于最先进方法。
• 在强拜占庭环境（如 $f=6$ 个拜占庭者，$n=17$ 个总工作者）下，NNM 保持高准确率，而 Bucketing 退化为原始聚合方法，凸显 NNM 在高对抗性环境中的优越性。
• 该方法在多种数据集与聚合规则下均表现稳健，展现出良好的泛化能力与在真实异构分布式学习场景中的实用潜力。