[论文解读] Fall of Empires: Breaking Byzantine-tolerant SGD by Inner Product Manipulation

Cong Xie, Oluwasanmi Koyejo+1 more|arXiv (Cornell University)|Mar 10, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用 70

一句话总结

本文证明，内积操作可以破坏两种容错对抗拜占庭的 SGD 防御（坐标中位数和 Krum），并提出一个修订的拜占庭容忍定义，理论支持并在 CIFAR-10 实验中得到验证。

ABSTRACT

Recently, new defense techniques have been developed to tolerate Byzantine failures for distributed machine learning. The Byzantine model captures workers that behave arbitrarily, including malicious and compromised workers. In this paper, we break two prevailing Byzantine-tolerant techniques. Specifically we show robust aggregation methods for synchronous SGD -- coordinate-wise median and Krum -- can be broken using new attack strategies based on inner product manipulation. We prove our results theoretically, as well as show empirical validation.

研究动机与目标

• 推动对抗拜占庭工作者的鲁棒分布式 SGD，并指出现有防御的局限性。
• 引入内积操纵作为一种新的攻击向量，能够颠覆鲁棒聚合器。
• 在新的攻击模型下对坐标逐项中位数和 Krum 的脆弱性进行理论分析。
• 提出一个修订的 DSSGD-拜占庭容忍定义，并在理论和实证层面评估其含义。

提出的方法

• 将服务器—工作者 DSSGD 设定建模为以拜占庭梯度作为对手输入。
• 定义并形式化内积操纵攻击，使下降方向发生翻转。
• 给出在特定条件下，Median 和 Krum 可以被破坏的理论结果。
• 提供玩具示例和一个 CIFAR-10 的案例研究以说明脆弱性。
• 为 DSSGD 提出一个修订的拜占庭容忍定义并讨论其影响。

实验结果

研究问题

• RQ1 在常见鲁棒聚合器下，内积操纵是否会导致聚合梯度指向相反的下降方向？
• RQ2 在什么条件下，坐标逐项中位数和 Krum 会失败于 DSSGD-拜占庭容忍？
• RQ3 对抗性梯度如何影响拜占庭容忍的 DSSGD 方法的收敛性保证？
• RQ4 什么样的修订拜占庭容忍定义能够更好地体现分布式 SGD 的鲁棒性？

主要发现

• 在某些设定下，内积操纵可以使坐标逐项中位数变为 DSSGD-拜占庭容忍。
• 在足够大的设定中，Krum 可以被小的正向攻击量破坏，导致下降方向为负。
• 鲁棒聚合器的传统有界距离保证并不能确保正确的下降方向。
• 在 CIFAR-10 的实验证明，在定制的拜占庭攻击下，Median 和 Krum 无法维持进展。
• 提出了一个修订的 DSSGD-拜占庭容忍定义，以更好地反映优化过程中的鲁棒性。
• 本文同时提供对攻击的理论证明和实证验证。