[论文解读] Asynchronous Byzantine Machine Learning (the case of SGD)

Georgios Damaskinos, El Mahdi El Mhamdi+3 more|arXiv (Cornell University)|Feb 22, 2018

Stochastic Gradient Optimization Techniques被引用 26

一句话总结

Kardam 是首个在通信延迟无界且最多容忍 1/3 恶意工作者的情况下，保证几乎必然收敛的异步拜占庭容错随机梯度下降（SGD）算法。它结合了基于利普希茨连续性的梯度过滤机制，以检测并抑制恶意更新，以及一种考虑延迟的衰减方案，按梯度的年龄对梯度进行加权，从而实现收敛速率受 f/n 限制，其中 f 为可容忍的拜占庭工作者数量，n 为工作者总数。

ABSTRACT

Asynchronous distributed machine learning solutions have proven very effective so far, but always assuming perfectly functioning workers. In practice, some of the workers can however exhibit Byzantine behavior, caused by hardware failures, software bugs, corrupt data, or even malicious attacks. We introduce \emph{Kardam}, the first distributed asynchronous stochastic gradient descent (SGD) algorithm that copes with Byzantine workers. Kardam consists of two complementary components: a filtering and a dampening component. The first is scalar-based and ensures resilience against $\frac{1}{3}$ Byzantine workers. Essentially, this filter leverages the Lipschitzness of cost functions and acts as a self-stabilizer against Byzantine workers that would attempt to corrupt the progress of SGD. The dampening component bounds the convergence rate by adjusting to stale information through a generic gradient weighting scheme. We prove that Kardam guarantees almost sure convergence in the presence of asynchrony and Byzantine behavior, and we derive its convergence rate. We evaluate Kardam on the CIFAR-100 and EMNIST datasets and measure its overhead with respect to non Byzantine-resilient solutions. We empirically show that Kardam does not introduce additional noise to the learning procedure but does induce a slowdown (the cost of Byzantine resilience) that we both theoretically and empirically show to be less than $f/n$, where $f$ is the number of Byzantine failures tolerated and $n$ the total number of workers. Interestingly, we also empirically observe that the dampening component is interesting in its own right for it enables to build an SGD algorithm that outperforms alternative staleness-aware asynchronous competitors in environments with honest workers.

研究动机与目标

• 解决在通信延迟无界的真实分布式机器学习系统中，缺乏拜占庭容错异步 SGD 算法的问题。
• 设计一种无需同步协调或等待法定人数即可容忍最多 1/3 拜占庭工作者的解决方案。
• 通过梯度过滤和延迟感知衰减机制，在异步和对抗性行为下仍保持高收敛效率。
• 理论上证明几乎必然收敛，并推导出收敛速率随拜占庭故障数量呈有利比例变化的结论。

提出的方法

• 提出一种基于标量的梯度过滤器，利用代价函数的利普希茨连续性来检测并抑制来自拜占庭工作者的梯度。
• 采用一种通用的梯度加权方案（衰减函数），根据梯度的延迟程度对每个梯度进行缩放，以减少过时更新的影响。
• 使用自适应学习率调度，以在噪声和延迟梯度下平衡收敛速度与稳定性。
• 参数服务器仅在应用过滤和衰减后才聚合梯度，从而在任意拜占庭行为下确保鲁棒性和收敛性。
• 理论分析证明了几乎必然收敛，并推导出收敛速率为 O(µmax / √T · |ξ| · M + χ · µmax / T + d · σ² + 2DKσ / √d + K²D²)，其中 χ 用于限制延迟的影响。
• 提出一种新颖的收敛性分析框架，同时考虑延迟和拜占庭噪声，采用类似李雅普诺夫的论证方法和自适应学习率。

实验结果

研究问题

• RQ1 我们能否设计一种异步 SGD 算法，在通信延迟无界的情况下，仍能保持收敛性并抵御拜占庭故障？
• RQ2 如何在不依赖同步协调或法定人数等待的情况下，过滤掉恶意梯度？
• RQ3 最优的过时梯度加权方式是什么，以在保持收敛性的同时提升鲁棒性？
• RQ4 仅靠衰减机制是否能独立于拜占庭容错能力，在诚实工作者环境中提升性能？
• RQ5 此类容错异步 SGD 算法的理论收敛速率是多少？其随拜占庭工作者数量的扩展特性如何？

主要发现

• Kardam 在存在异步性和最多 1/3 拜占庭工作者的情况下，即使通信延迟无界，也能保证几乎必然收敛。
• 收敛速率受 f/n 限制，其中 f 为可容忍的拜占庭工作者数量，n 为工作者总数，表明容错成本具有有利的扩展特性。
• 实证结果表明，Kardam 未向学习过程引入额外噪声，说明拜占庭容错机制未降低模型质量。
• 仅衰减组件本身即优于基线异步 SGD 方法（如 DynSGD），尤其在存在诚实但延迟的工作者的环境中表现更优。
• 指数衰减函数（Λ(τ) = exp(−αβ√τ)）在理论上和实证上均比倒线性函数（Λ(τ) = 1/(1+τ)）收敛更快。
• 在 CIFAR-100 和 EMNIST 数据集上，Kardam 仅以与 f/n 成比例的轻微延迟，实现了具有竞争力的准确率和损失，验证了其实际可行性。