[论文解读] Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates

Dong Yin, Yudong Chen+2 more|arXiv (Cornell University)|Mar 5, 2018

Distributed Sensor Networks and Detection Algorithms参考文献 39被引用 542

一句话总结

论文提出两种鲁棒分布式梯度下降算法（基于中位数和基于截断均值），对拜占庭工作者具备可证明的鲁棒性，在强凸损失下达到近似最优的统计速率；此外还有在某些条件下的一轮基于中位数的变体，具有最优速率。

ABSTRACT

In large-scale distributed learning, security issues have become increasingly important. Particularly in a decentralized environment, some computing units may behave abnormally, or even exhibit Byzantine failures -- arbitrary and potentially adversarial behavior. In this paper, we develop distributed learning algorithms that are provably robust against such failures, with a focus on achieving optimal statistical performance. A main result of this work is a sharp analysis of two robust distributed gradient descent algorithms based on median and trimmed mean operations, respectively. We prove statistical error rates for three kinds of population loss functions: strongly convex, non-strongly convex, and smooth non-convex. In particular, these algorithms are shown to achieve order-optimal statistical error rates for strongly convex losses. To achieve better communication efficiency, we further propose a median-based distributed algorithm that is provably robust, and uses only one communication round. For strongly convex quadratic loss, we show that this algorithm achieves the same optimal error rate as the robust distributed gradient descent algorithms.

研究动机与目标

• 在大规模分布式学习中动员鲁棒性，因为一些工作节点可能表现任意行为（拜占庭）。
• 表征拜占庭故障如何影响统计误差率并确定可达到的最优速率。
• 开发并分析两种鲁棒分布式梯度下降算法（基于中位数和基于截断均值）及一个一轮变体。
• 在强凸、凸、非凸损失下，给出在何种条件下这些算法实现近似最优或最优速率的条件。

提出的方法

• 提出两种鲁棒分布式梯度下降算法，使用坐标逐项中位数（选项 I）和坐标逐项截断均值（选项 II）来聚合工作节点梯度。
• 推导对强凸、非强凸以及光滑的非凸总体损失的统计误差界。
• 使用统一覆盖论证和 Berry-Esseen 型不等式来处理来自固定数据的迭代依赖性以及拜占庭对手的影响。
• 证明截断均值 GD 在强凸损失下达到无量纲阶的最优速率 ~Õ(α/√n + 1/√(nm))。
• 引入一个一轮鲁棒算法，通过坐标逐项中位数聚合局部经验风险最小化（ERM），以减少通信轮次。
• 给出比较并给出每种方法在达到最优或近似最优速率时的条件。

实验结果

研究问题

• RQ1 在拜占庭故障下分布式学习中可达到的统计性能的最佳界限是什么？
• RQ2 在分布式 GD 中鲁棒聚合规则（中位数、截断均值）是否能在各种损失类别（强凸、凸、非凸）下实现最优速率？
• RQ3 在拜占庭鲁棒分布式学习中，通信效率与统计精度之间有哪些权衡？
• RQ4 在何种数据尾部假设下，中位数基方法与截断均值基方法能够保证鲁棒性与最优速率？

主要发现

• 中位数基 GD 在温和假设下实现速率 Õ(α/√n + 1/√(nm) + 1/n)，当 n ≳ m 时达到阶近似最优。
• 截断均值基 GD 在子指数梯度假设下实现速率 Õ(α/√n + 1/√(nm))，对强凸损失是阶近似最优的。
• 在 n ≳ m 时，一轮基于中位数的算法在强凸二次损失下达到 Õ(α/√n + 1/√(nm) + 1/n)。
• 下界显示 Õ(α/√n + 1/√(nm)) 是必要的，表明在拜占庭设置下提出的速率接近最优。
• 这两种算法互为补充：中位数基方法对尾部/矩条件要求较弱，而截断均值在尾部假设更强（β-次指数型）且需要知道 α，因此可以提供更紧的速率；并且需要更强的先验信息。
• 表 1 总结了两种方法之间的实际权衡。