[论文解读] Byzantine Machine Learning Made Easy by Resilient Averaging of Momentums

Sadegh Farhadkhani, Rachid Guerraoui+3 more|arXiv (Cornell University)|May 24, 2022

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

该论文提出了RESAM（鲁棒动量平均），一种统一框架，通过在服务器端使用鲁棒平均、在工作节点端使用分布式动量，实现了分布式SGD的最优拜占庭鲁棒性。在标准假设下证明了有限时间收敛性，表明当拜占庭工作节点少于一半时，任何具有鲁棒系数$\lambda$的聚合规则均可确保收敛，并实现了无需非标准假设的现有方法之间的直接比较。

ABSTRACT

Byzantine resilience emerged as a prominent topic within the distributed machine learning community. Essentially, the goal is to enhance distributed optimization algorithms, such as distributed SGD, in a way that guarantees convergence despite the presence of some misbehaving (a.k.a., {\em Byzantine}) workers. Although a myriad of techniques addressing the problem have been proposed, the field arguably rests on fragile foundations. These techniques are hard to prove correct and rely on assumptions that are (a) quite unrealistic, i.e., often violated in practice, and (b) heterogeneous, i.e., making it difficult to compare approaches. We present \emph{RESAM (RESilient Averaging of Momentums)}, a unified framework that makes it simple to establish optimal Byzantine resilience, relying only on standard machine learning assumptions. Our framework is mainly composed of two operators: \emph{resilient averaging} at the server and \emph{distributed momentum} at the workers. We prove a general theorem stating the convergence of distributed SGD under RESAM. Interestingly, demonstrating and comparing the convergence of many existing techniques become direct corollaries of our theorem, without resorting to stringent assumptions. We also present an empirical evaluation of the practical relevance of RESAM.

研究动机与目标

• 解决现有拜占庭鲁棒机器学习方法所依赖的不切实际或异质性假设带来的脆弱性问题。
• 建立一个统一的理论框架，用于在最小化、标准假设下分析分布式SGD中的拜占庭鲁棒性。
• 证明鲁棒平均与分布式动量相结合，可在多达一半工作节点为拜占庭节点的情况下实现最优收敛。
• 提出一个通用的收敛定理，涵盖并统一多个现有聚合规则的分析。
• 通过统一的鲁棒系数$\lambda$，实现对现有拜占庭鲁棒方法的公平、理论基础支持下的比较。

提出的方法

• 引入鲁棒平均作为聚合规则的新鲁棒性标准，以鲁棒系数$\lambda$量化。
• 提出分布式动量，即工作节点向服务器传输梯度动量而非原始梯度。
• 设计一种新颖的李雅普诺夫函数以证明收敛性，克服了非独立同分布及非标准梯度行为带来的挑战。
• 利用诚实工作节点动量的收敛性，以减轻在鲁棒平均下拜占庭节点的影响。
• 在标准假设下，为RESAM框架下的分布式SGD提出一个通用收敛定理：梯度无偏且方差有界，且一阶Lipschitz连续光滑。
• 将现有方案（如Krum*、Median、CWTM）的鲁棒性作为主定理的推论进行验证，无需引入非标准假设。

实验结果

研究问题

• RQ1 能否开发一个统一框架，在不依赖非标准或不切实际假设的前提下，证明分布式SGD的拜占庭鲁棒性？
• RQ2 聚合规则的鲁棒系数$\lambda$如何影响收敛速度与鲁棒性？
• RQ3 在存在恶意工作节点的情况下，分布式动量在多大程度上提升了收敛性与拜占庭鲁棒性？
• RQ4 能否通过RESAM框架，基于相同的理论基础，形式化证明现有拜占庭鲁棒聚合规则的鲁棒性？
• RQ5 动量超参数$\beta$对在各种攻击下鲁棒与非鲁棒聚合规则性能的影响如何？

主要发现

• RESAM在标准假设下证明了分布式SGD的有限时间收敛性：梯度无偏且方差有界，且一阶Lipschitz连续光滑。
• 该框架表明，任何具有鲁棒系数$\lambda$的聚合规则，当拜占庭工作节点少于总数一半时，均可确保收敛，达到最优阈值。
• 现有方案如Krum*、Median、CWTM和GM被证明是拜占庭鲁棒的，作为通用收敛定理的直接推论，无需假设梯度服从次高斯分布或有界。
• 实验结果表明，同时使用鲁棒平均与动量可显著提升所有攻击类型（帝国型、小规模、符号翻转、标签翻转）下的性能，尤其在$f=5$个拜占庭工作节点（$n=15$）时效果显著。
• 非鲁棒规则（如CC和CGE）的性能对动量参数极为敏感：$\beta=0.9$时可能改善，但$\beta=0.99$或$\beta=0.999$时可能恶化，表明动量并无普遍优势。
• 在极端情况下（$f=7$个拜占庭工作节点，$n=15$），高动量值（$\beta=0.999$）对实现良好性能至关重要，凸显了在高对抗性环境中动量的重要性。