[论文解读] Gradient Coding via the Stochastic Block Model

Zachary Charles, Dimitris Papailiopoulos|arXiv (Cornell University)|May 25, 2018

Stochastic Gradient Optimization Techniques参考文献 10被引用 13

一句话总结

本文提出了随机块码（Stochastic Block Code, SBC），一种新型梯度编码方案，利用随机块模型实现分布式机器学习中高效且精确的梯度恢复。SBC在随机慢节点选择下实现低近似误差，同时对对抗性慢节点攻击具有强抵抗能力，兼具计算高效与鲁棒性，其对抗性恢复复杂度等价于随机块模型中的社区检测问题。

ABSTRACT

Gradient descent and its many variants, including mini-batch stochastic gradient descent, form the algorithmic foundation of modern large-scale machine learning. Due to the size and scale of modern data, gradient computations are often distributed across multiple compute nodes. Unfortunately, such distributed implementations can face significant delays caused by straggler nodes, i.e., nodes that are much slower than average. Gradient coding is a new technique for mitigating the effect of stragglers via algorithmic redundancy. While effective, previously proposed gradient codes can be computationally expensive to construct, inaccurate, or susceptible to adversarial stragglers. In this work, we present the stochastic block code (SBC), a gradient code based on the stochastic block model. We show that SBCs are efficient, accurate, and that under certain settings, adversarial straggler selection becomes as hard as detecting a community structure in the multiple community, block stochastic graph model.

研究动机与目标

• 解决现有梯度编码的局限性，即计算成本高、不准确或易受对抗性慢节点攻击。
• 设计一种梯度编码，在随机慢节点选择下实现与分数重复码（FRCs）相似的低重构误差。
• 提升对对抗性慢节点选择的鲁棒性，优于FRCs的脆弱性。
• 形式化建立对抗性慢节点检测与随机块模型中社区检测之间的联系，确立计算困难性保证。

提出的方法

• SBC基于随机块模型构建函数分配矩阵，其中节点被划分为具有不同连接概率的社区。
• 每个计算节点根据块结构分配任务，块内和块间连接概率分别由参数 $p$ 和 $q$ 控制。
• 采用随机解码方法，基于块结构求解线性系统以恢复梯度，最小化重构误差。
• 同时考虑最优解码方法，即最小化 $\|\mathbf{G}\mathbf{v} - \mathbf{1}_k\|_2^2$，在计算成本更高的前提下提升精度。
• 理论分析将破解SBC的难度与随机块模型中社区检测的困难性联系起来。
• 实验评估在不同慢节点比例和参数下，将SBC与无编码及现有梯度编码进行比较。

实验结果

研究问题

• RQ1 能否设计一种梯度编码，既计算高效，又在随机慢节点选择下实现与FRCs相当的低近似误差？
• RQ2 这种编码能否对对抗性慢节点选择具有鲁棒性，而FRCs不具备此特性？
• RQ3 破解该编码的计算困难性是否等价于随机图论中已知的难题（如社区检测）？
• RQ4 在不同慢节点模式下，SBC与BGCs、FRCs等现有编码在重构误差方面的性能表现如何？
• RQ5 随机块模型中参数 $p$ 与 $q$ 的关系如何影响编码的最终误差与鲁棒性？

主要发现

• 在随机慢节点选择下，SBC的重构误差与FRCs相当，误差大致与 $(1-p)p$ 成正比，当 $\epsilon$ 合理时表现良好。
• 采用最优解码时，SBC的误差显著低于无编码基线，即使在 $p=0.85$ 且慢节点比例较高时亦然。
• SBC的对抗性慢节点检测复杂度与随机块模型中的社区检测等价，表明在某些参数范围内不存在高效破解算法。
• 当 $s = k/2$ 时，仅当 $k(p-q)^2 > 2(p+q)$ 时才可能实现对抗性恢复，确立了脆弱性的阈值条件。
• 实验结果表明，SBC在宽范围的慢节点比例下均保持低误差，即使高达50%的节点为慢节点，性能依然稳定。
• 理论边界证实，当底层块模型的信噪比较低时，SBC对对抗性慢节点具有鲁棒性，与社区检测的已知极限一致。