[论文解读] Approximate Byzantine Fault-Tolerance in Distributed Optimization

Shuo Liu, Nirupam Gupta+1 more|arXiv (Cornell University)|Jan 22, 2021

Stochastic Gradient Optimization Techniques参考文献 37被引用 7

一句话总结

本文提出了 $(f,\epsilon)$-弹性，这是在分布式优化中对精确拜占庭容错的一种松弛，使得在最多 $f$ 个代理行为任意的情况下，非故障代理仍能收敛到其聚合代价函数的 $\epsilon$-近似最小值。通过利用鲁棒梯度聚合方法（如坐标系修剪均值，CWTM）和比较梯度消除（CGE），该方法在弱于精确容错所要求的冗余条件下实现了收敛，实验验证了在 MNIST 和 Fashion-MNIST 上，10 个代理中有 3 个为拜占庭代理的情况。

ABSTRACT

This paper considers the problem of Byzantine fault-tolerance in distributed multi-agent optimization. In this problem, each agent has a local cost function, and in the fault-free case, the goal is to design a distributed algorithm that allows all the agents to find a minimum point of all the agents' aggregate cost function. We consider a scenario where some agents might be Byzantine faulty that renders the original goal of computing a minimum point of all the agents' aggregate cost vacuous. A more reasonable objective for an algorithm in this scenario is to allow all the non-faulty agents to compute the minimum point of only the non-faulty agents' aggregate cost. Prior work shows that if there are up to $f$ (out of $n$) Byzantine agents then a minimum point of the non-faulty agents' aggregate cost can be computed exactly if and only if the non-faulty agents' costs satisfy a certain redundancy property called $2f$-redundancy. However, $2f$-redundancy is an ideal property that can be satisfied only in systems free from noise or uncertainties, which can make the goal of exact fault-tolerance unachievable in some applications. Thus, we introduce the notion of $(f,ε)$-resilience, a generalization of exact fault-tolerance wherein the objective is to find an approximate minimum point of the non-faulty aggregate cost, with $ε$ accuracy. This approximate fault-tolerance can be achieved under a weaker condition that is easier to satisfy in practice, compared to $2f$-redundancy. We obtain necessary and sufficient conditions for achieving $(f,ε)$-resilience characterizing the correlation between relaxation in redundancy and approximation in resilience. In case when the agents' cost functions are differentiable, we obtain conditions for $(f,ε)$-resilience of the distributed gradient-descent method when equipped with robust gradient aggregation.

研究动机与目标

• 为解决精确拜占庭容错的局限性，即需要严格的 $2f$-冗余，而这一条件在噪声或不确定系统中往往难以实现。
• 通过提出 $(f,\epsilon)$-弹性，为容错提供一种实用的松弛，使非故障代理能够追求其自身聚合代价函数的 $\epsilon$-近似最小值。
• 确定实现 $(f,\epsilon)$-弹性所需的必要和充分条件，将近似容错度 $\epsilon$ 与冗余需求降低相关联。
• 展示鲁棒梯度聚合方法（CWTM 和 CGE）在真实机器学习任务中实现 $(f,\epsilon)$-弹性的有效性。

提出的方法

• 引入 $(f,\epsilon)$-弹性的概念，目标是找到非故障代理聚合代价函数真实最小值的 $\epsilon$-精度范围内的点。
• 通过分析冗余松弛与近似容错度之间的相关性，推导出实现 $(f,\epsilon)$-弹性的必要和充分条件。
• 应用鲁棒梯度聚合技术——特别是坐标系修剪均值（CWTM）和比较梯度消除（CGE）——以过滤分布式梯度下降中的恶意梯度。
• 采用分布式梯度下降（DGD）框架，代理通过使用邻居过滤后的梯度，迭代更新其本地模型。
• 使用基于 PyTorch 和 MPI4py 在 Google Cloud 上构建的模拟器，评估在 MNIST 和 Fashion-MNIST 上的性能，设置 $n=10$，$f=3$，并引入两类故障：标签翻转和梯度反转。
• 通过在 1,000 次迭代中测量交叉熵损失和模型准确率，将结果与无故障的 D-SGD 进行比较，并评估不同梯度滤波器的性能。

实验结果

研究问题

• RQ1 当由于缺乏 $2f$-冗余而无法实现精确最小值计算时，是否可以在分布式优化中实现拜占庭容错？
• RQ2 在拜占庭故障下，确保收敛到 $\epsilon$-近似解所需的最小冗余条件是什么？
• RQ3 在最多 $f$ 个代理发送任意或损坏梯度的情况下，鲁棒梯度聚合方法（如 CWTM 和 CGE）在保持收敛方面表现如何？
• RQ4 近似误差 $\epsilon$ 在多大程度上依赖于代理代价函数中的冗余水平？
• RQ5 所提出的 $(f,\epsilon)$-弹性框架是否可有效应用于存在拜占庭代理的真实世界机器学习任务？

主要发现

• 所提出的 $(f,\epsilon)$-弹性框架在显著弱于精确容错所需冗余条件的情况下，实现了非故障代理聚合代价函数的 $\epsilon$-近似最小值收敛。
• 在 MNIST 和 Fashion-MNIST 上的实验表明，CWTM 和 CGE 梯度滤波器即使在 10 个代理中有 3 个为拜占庭代理的情况下，仍能实现接近无故障基线的训练损失和准确率。
• 在标签翻转故障下，CWTM 表现出更稳定的性能；而在梯度反转攻击下，CGE 展现出更好的鲁棒性，表明不同滤波器对不同类型的故障具有特定的鲁棒性。
• 理论分析得到实证验证：迭代估计值收敛于真实最小值附近的有界区域，与 $\epsilon$-近似保证一致。
• 受拜占庭影响的训练与无故障训练之间的性能差距较小，表明该框架在分布式学习系统中具有实际部署的可行性。
• 实证结果证实了实际机器学习问题中存在冗余，支持了所提方法的可行性。