[论文解读] DRACO: Robust Distributed Training via Redundant Gradients.

Lingjiao Chen, Hongyi Wang+2 more|arXiv (Cornell University)|Mar 27, 2018

Adversarial Robustness in Machine Learning被引用 13

一句话总结

DRACO 是一种可扩展的框架，用于实现鲁棒的分布式训练，通过编码理论技术生成冗余梯度，使参数服务器能够检测并消除恶意更新，而无需依赖计算成本高昂的中位数聚合。与基于中位数的方法相比，它实现了数量级的加速，且在收敛性上完全不受恶意节点影响。

ABSTRACT

Distributed model training is vulnerable to worst-case system failures and adversarial compute nodes, i.e., nodes that use malicious updates to corrupt the global model stored at a parameter server (PS). To tolerate node failures and adversarial attacks, recent work suggests using variants of the geometric median to aggregate distributed updates at the PS, in place of bulk averaging. Although median-based update rules are robust to adversarial nodes, their computational cost can be prohibitive in large-scale settings and their convergence guarantees often require relatively strong assumptions. In this work, we present DRACO, a scalable framework for robust distributed training that uses ideas from coding theory. In DRACO, each compute node evaluates redundant gradients that are then used by the parameter server to eliminate the effects of adversarial updates. We present problem-independent robustness guarantees for DRACO and show that the model it produces is identical to the one trained in the adversary-free setup. We provide extensive experiments on real datasets and distributed setups across a variety of large-scale models, where we show that DRACO is several times to orders of magnitude faster than median-based approaches.

研究动机与目标

• 解决分布式训练对注入恶意更新的恶意计算节点的脆弱性问题。
• 设计一种可扩展的替代方案，以替代在大规模环境中计算成本过高的基于中位数的聚合方法。
• 提供与问题无关的鲁棒性保障，确保最终模型与无恶意节点环境下的训练结果一致。
• 在存在恶意节点的情况下，实现与标准训练完全相同的收敛性，且无需强假设。

提出的方法

• 每个计算节点使用纠错码计算冗余梯度，使得即使部分节点被攻破，参数服务器仍能重建正确的全局更新。
• 参数服务器通过解码过程聚合冗余梯度，识别并丢弃恶意更新。
• 该框架利用编码理论原理，确保对最多恒定比例的恶意节点具有鲁棒性。
• 通过使用线性代数重构方法，避免了中位数计算，显著降低了计算开销。
• 该设计确保在温和假设下，最终模型与无任何恶意节点时训练出的模型完全相同。

实验结果

研究问题

• RQ1 基于编码理论的方法是否能在不增加中位数聚合计算成本的前提下，实现分布式训练的鲁棒性？
• RQ2 所提出的方法是否能保持与无恶意节点环境下的收敛结果一致？
• RQ3 该框架在大规模模型和分布式环境中，其速度和鲁棒性如何扩展？
• RQ4 冗余梯度是否能被高效用于检测并消除恶意更新？

主要发现

• 与基于中位数的鲁棒聚合方法相比，DRACO 实现了数量级的训练速度提升。
• 使用 DRACO 训练出的最终模型与无恶意节点环境下的训练结果完全一致，确保了正确性。
• 该框架提供了与问题无关的鲁棒性保障，意味着其在多种模型和数据集上均适用。
• 在真实数据集和大规模分布式环境中的实验验证了 DRACO 的可扩展性和高效性。