[论文解读] Byzantine Resilient Non-Convex SVRG with Distributed Batch Gradient Computations

Prashant Khanduri, Saikiran Bulusu+2 more|arXiv (Cornell University)|Dec 10, 2019

Stochastic Gradient Optimization Techniques参考文献 19被引用 10

一句话总结

该论文提出了一种具有分布式批量梯度计算的拜占庭容错非凸SVRG算法，其中工作节点计算批量梯度，服务器计算随机梯度。该算法在达到$\epsilon$-驻点时，实现了$\tilde{O}\left(\frac{1}{\epsilon^{5/3}K^{2/3}} + \frac{\alpha^{4/3}}{\epsilon^{5/3}}\right)$的期望梯度复杂度，相较于在存在最多$\alpha$比例拜占庭节点情况下的先前结果有所改进。

ABSTRACT

In this work, we consider the distributed stochastic optimization problem of minimizing a non-convex function $f(x) = \mathbb{E}_{ξ\sim \mathcal{D}} f(x; ξ)$ in an adversarial setting, where the individual functions $f(x; ξ)$ can also be potentially non-convex. We assume that at most $α$-fraction of a total of $K$ nodes can be Byzantines. We propose a robust stochastic variance-reduced gradient (SVRG) like algorithm for the problem, where the batch gradients are computed at the worker nodes (WNs) and the stochastic gradients are computed at the server node (SN). For the non-convex optimization problem, we show that we need $ ilde{O}\left( \frac{1}{ε^{5/3} K^{2/3}} + \frac{α^{4/3}}{ε^{5/3}} ight)$ gradient computations on average at each node (SN and WNs) to reach an $ε$-stationary point. The proposed algorithm guarantees convergence via the design of a novel Byzantine filtering rule which is independent of the problem dimension. Importantly, we capture the effect of the fraction of Byzantine nodes $α$ present in the network on the convergence performance of the algorithm.

研究动机与目标

• 解决在最多$\alpha$比例节点为拜占庭节点的对抗性条件下，分布式非凸优化问题。
• 设计一种鲁棒算法，即使在非凸设置下存在拜占庭节点行为，也能保持收敛保证。
• 通过将批量梯度计算卸载到工作节点，减轻服务器的计算负载。
• 设计一种与维度无关的拜占庭过滤规则，确保不依赖坐标操作即可实现收敛。
• 在拜占庭攻击下，提升分布式非凸优化的最先进收敛速率。

提出的方法

• 该算法使用SVRG的一种变体，其中工作节点（WNs）计算批量梯度$\mu_t^{(k)}$，服务器节点（SN）计算随机梯度。
• 提出一种新颖的拜占庭过滤规则，基于成对距离阈值$\mathfrak{T}_\mu$和$\mathcal{V}$，选择中位数梯度估计$\mu_t^{\text{med}}$，并形成非拜占庭工作节点的可靠集合$\mathcal{G}_t$。
• 若初始集合$\mathcal{G}_t$中节点数少于$(1 - \alpha)K$，则使用放宽的阈值$2\mathcal{V}$扩展集合，确保$|\mathcal{G}_t| \geq (1 - \alpha)K$。
• 服务器通过$\mu_t = \frac{1}{|\mathcal{G}_t|} \sum_{k \in \mathcal{G}_t} \mu_t^{(k)}$聚合梯度，形成对真实梯度的鲁棒估计。
• 内层循环迭代$N_t \sim \text{Geom}(B / (B + 1))$，用于计算方差减少的随机更新$x_n^t = x_{n-1}^t - \eta_t v_{n-1}^t$，其中$v_{n-1}^t = \nabla f(x_{n-1}^t; \xi_{n-1}^t) - \nabla f(x_0^t; \xi_{n-1}^t) + \mu_t$。
• 最终输出$\tilde{x}_a$为迭代序列$\{\tilde{x}_t\}_{t=1}^T$中的均匀随机样本。

实验结果

研究问题

• RQ1 能否使基于非凸SVRG的算法在分布式优化中对拜占庭节点具有鲁棒性？
• RQ2 拜占庭节点比例$\alpha$如何影响分布式非凸优化的收敛速率？
• RQ3 能否设计一种与问题维度$d$无关的拜占庭过滤规则？
• RQ4 将批量梯度计算卸载到工作节点是否能在保持鲁棒性的同时提高收敛效率？
• RQ5 在存在拜占庭节点的情况下，能否相比现有方法提升收敛速率？

主要发现

• 该算法在每个节点达到$\epsilon$-驻点时，实现了$\tilde{O}\left(\frac{1}{\epsilon^{5/3}K^{2/3}} + \frac{\alpha^{4/3}}{\epsilon^{5/3}}\right)$的期望梯度计算复杂度。
• 当$\alpha = 0$时，复杂度简化为$O\left(\frac{1}{\epsilon^{5/3}K^{2/3}}\right)$，优于分布式非凸优化的最先进速率$O\left(\frac{1}{\epsilon^2 K}\right)$。
• 所提出的拜占庭过滤规则与维度无关，且避免了坐标操作，适用于高维问题。
• 即使多达$\alpha < \frac{1}{2}$的节点为拜占庭节点，该算法仍能保持收敛，且收敛速率显式依赖于$\alpha$。
• 理论分析表明，方差减少机制与鲁棒聚合相结合，可在非凸目标下确保收敛。
• 当仅在服务器上运行时，该算法达到最先进速率$O\left(\frac{1}{\epsilon^{5/3}}\right)$，与单节点非凸SVRG保持一致。