[论文解读] Distributed Newton Can Communicate Less and Resist Byzantine Workers

Avishek Ghosh, Raj Kumar Maity+1 more|arXiv (Cornell University)|Jun 15, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用 5

一句话总结

该论文提出 COMRADE，一种通信高效且抗拜占庭攻击的分布式二阶优化算法，通过让工作者每轮仅发送一个向量（即本地海森逆与梯度的乘积）来减少通信开销，同时利用基于范数的过滤机制检测恶意工作者。该方法在仅引入少量统计误差的前提下实现了线性-二次收敛，是首个将二阶优化与拜占庭弹性相结合的方法。

ABSTRACT

We develop a distributed second order optimization algorithm that is communication-efficient as well as robust against Byzantine failures of the worker machines. We propose COMRADE (COMunication-efficient and Robust Approximate Distributed nEwton), an iterative second order algorithm, where the worker machines communicate only once per iteration with the center machine. This is in sharp contrast with the state-of-the-art distributed second order algorithms like GIANT [34] and DINGO[7], where the worker machines send (functions of) local gradient and Hessian sequentially; thus ending up communicating twice with the center machine per iteration. Moreover, we show that the worker machines can further compress the local information before sending it to the center. In addition, we employ a simple norm based thresholding rule to filter-out the Byzantine worker machines. We establish the linear-quadratic rate of convergence of COMRADE and establish that the communication savings and Byzantine resilience result in only a small statistical error rate for arbitrary convex loss functions. To the best of our knowledge, this is the first work that addresses the issue of Byzantine resilience in second order distributed optimization. Furthermore, we validate our theoretical results with extensive experiments on synthetic and benchmark LIBSVM [5] data-sets and demonstrate convergence guarantees.

研究动机与目标

• 解决分布式二阶优化中通信开销高和拜占庭故障并存的双重挑战。
• 通过将工作者到参数服务器的传输次数减少至每轮一次，降低分布式牛顿方法的通信成本。
• 通过一种简单的基于范数的过滤机制，实现对拜占庭工作者的鲁棒性。
• 在引入压缩和容错机制的同时，保持快速收敛（线性-二次收敛率）。
• 在任意凸损失函数下，建立收敛性和统计误差的理论保证。

提出的方法

• 工作者计算本地海森逆与本地梯度的乘积，并每轮仅向中心节点发送该d维向量。
• 中心机器使用基于向量范数的鲁棒平均规则聚合这些向量，以过滤掉拜占庭工作者的更新。
• 应用ρ-近似压缩器，通过压缩本地更新向量进一步减少通信量。
• 算法利用随机投影（sketching）论证表明，海森逆-梯度乘积的经验均值可近似全局牛顿步长。
• 通过阈值规则实现拜占庭弹性：当最多α < 1/2的工作者为拜占庭时，丢弃范数异常大的更新。
• 理论分析表明，在海森矩阵满足Lipschitz连续性且压缩质量有界条件下，可实现线性-二次收敛，且统计误差有界。

实验结果

研究问题

• RQ1 能否设计一种既通信高效又抗拜占庭故障的分布式二阶优化算法？
• RQ2 能否将二阶方法的通信开销从每轮两次传输减少至一次？
• RQ3 基于范数的过滤机制是否能有效检测并缓解分布式牛顿方法中的拜占庭行为？
• RQ4 压缩和拜占庭攻击对二阶优化的收敛速率和统计误差有何影响？
• RQ5 能否在同时存在压缩和拜占庭故障模型的情况下，为二阶方法建立理论收敛保证？

主要发现

• COMRADE 将每轮每名工作者的通信量减少至一次传输，相比当前最先进的方法（如 GIANT 和 DINGO）节省了 O(d) 位。
• 在标准假设下，该算法实现了线性-二次收敛速率，且由于压缩和拜占庭工作者导致的统计误差极小。
• 通过基于范数的阈值规则实现拜占庭弹性，当 α < 1/2 时，能以高概率过滤掉恶意更新。
• 理论分析表明，压缩和拜占庭工作者引入的误差被有界于 ε²_comp,byz 和 ζ²_comp,byz，其大小与拜占庭工作者比例及压缩质量成比例。
• 在 LIBSVM 数据集上的实验验证了在高斯攻击和随机标签攻击下仍保持收敛保证，且在 20% 拜占庭工作者的情况下仍保持稳定准确率。
• 使用 ρ-近似压缩器（如 QSGD、top-k）可进一步减少通信量，且不损害收敛性能。