[论文解读] Communication-Computation Efficient Gradient Coding

Min Ye, Emmanuel Abbé|arXiv (Cornell University)|Feb 9, 2018

Stochastic Gradient Optimization Techniques被引用 73

一句话总结

本文提出一个在计算负载、拖延容忍和通信成本之间的三方权衡，用于梯度求和，并给出一个递归多项式编码方案，在给定条件下实现最优权衡并在精确恢复。

ABSTRACT

This paper develops coding techniques to reduce the running time of distributed learning tasks. It characterizes the fundamental tradeoff to compute gradients (and more generally vector summations) in terms of three parameters: computation load, straggler tolerance and communication cost. It further gives an explicit coding scheme that achieves the optimal tradeoff based on recursive polynomial constructions, coding both across data subsets and vector components. As a result, the proposed scheme allows to minimize the running time for gradient computations. Implementations are made on Amazon EC2 clusters using Python with mpi4py package. Results show that the proposed scheme maintains the same generalization error while reducing the running time by $32\%$ compared to uncoded schemes and $23\%$ compared to prior coded schemes focusing only on stragglers (Tandon et al., ICML 2017).

研究动机与目标

• 在存在拖延和高通信成本的情况下，激励加速分布式梯度计算的需求。
• 在计算负载、拖延容忍和通信减少之间形成三参数权衡。
• 推导可实现的梯度编码方案的条件，从而实现精确的梯度恢复。
• 提出利用 Vandermonde 矩阵的递归多项式构造，以实现该权衡。
• 通过在 Amazon EC2 的实验展示运行时间的实际降低，证明实际可行性。

提出的方法

• 定义一个三参数可实现区域 (d, s, m)，其中 d/k ≥ (s+m)/n，并以期望工作节点实现线性组合。
• 使用递归多项式构建编码方案，从分配给每个工作节点的部分梯度生成其输出。
• 将梯度坐标分成 m 组，以降低传输的维度。
• 使用一个 (n-s)×n 的 Vandermonde-式矩阵 V 和一个 (mn)×(n-s) 的矩阵 B，设计具有特定性质以实现从任意 n−s 个工作节点精确恢复梯度和。
• 将每个工作节点的传输表示为 f_i(g_i, g_{i⊕1}, ..., g_{i⊕(d-1)})，其中 f_i 线性，确保从任意大小为 n−s 的子集恢复 g_1+...+g_n。
• 提供高效的实现策略来计算 B 和传输向量，包括为数值稳定性指定 theta 参数的选择。

实验结果

研究问题

• RQ1 分布式梯度编码中计算负载、拖延容忍和通信成本之间的基础性权衡是什么？
• RQ2 是否可以通过线性编码方案实现对整个梯度的从一部分工作节点的最优恢复？
• RQ3 递归多项式构造如何在保持可恢复性的同时实现传输梯度的维度减少？
• RQ4 Vandermonde 基构造的数值稳定性考虑因素以及它们如何影响可实现的区域？
• RQ5 所提出的方案在不牺牲泛化性能的前提下，在实际分布式系统中是否能带来实际的运行时改进？

主要发现

• 论文确立了一个三维权衡：d/k ≥ (s+m)/n（当 n=k 时等价地 d ≥ s+m）。
• 基于递归多项式的显式编码方案在具有线性 f_i 函数的情况下实现了该权衡。
• 将梯度坐标分成 m 组可在适当的可整除性假设下将每个工作节点的传输维度降至 l/(dn−s)。
• 基于 Vandermonde 的构造和递归多项式设计能够在数值稳定性约束下从任意 n−s 个工作节点实现精确梯度恢复。
• 该方法在真实数据集（Amazon Employee Access/Kaggle）上相对于未编码方案减少运行时间约32%，相对于先前的编码方案减少约23%，且保持相同的泛化误差。