[论文解读] Distributed Computing with Heterogeneous Communication Constraints: The Worst-Case Computation Load and Proof by Contradiction

Nishant Shakya, Fan Li+1 more|arXiv (Cornell University)|Feb 1, 2018

Stochastic Gradient Optimization Techniques参考文献 2被引用 10

一句话总结

本文研究在异构通信约束下的分布式计算，其中节点具有不等的数据传输容量。提出一种新颖的反证法以推导出紧致的下界，揭示了最小化总计算负载与最坏情况负载之间的根本权衡——编码可减少通信量，但可能增加峰值负载，反之亦然。该工作刻画了极端情形下的最优方案，并为特定参数集提供了精确边界。

ABSTRACT

We consider a distributed computing framework where the distributed nodes have different communication capabilities, motivated by the heterogeneous networks in data centers and mobile edge computing systems. Following the structure of MapReduce, this framework consists of Map computation phase, Shuffle phase, and Reduce computation phase. The Shuffle phase allows distributed nodes to exchange intermediate values, in the presence of heterogeneous communication bottlenecks for different nodes (heterogeneous communication load constraints). For this setting, we characterize the minimum total computation load and the minimum worst-case computation load in some cases, under the heterogeneous communication load constraints. While the total computation load depends on the sum of the computation loads of all the nodes, the worst-case computation load depends on the computation load of a node with the heaviest job. We show an interesting insight that, for some cases, there is a tradeoff between the minimum total computation load and the minimum worst-case computation load, in the sense that both cannot be achieved at the same time. The achievability schemes are proposed with careful design on the file assignment and the data shuffling. Beyond the cut-set bound, a novel converse is proposed using the proof by contradiction. For the general case, we identify two extreme regimes in which both the scheme with coding and the scheme without coding are optimal, respectively.

研究动机与目标

• 刻画在具有异构通信约束的分布式计算系统中，最小总计算负载与最小最坏情况计算负载。
• 研究在这些约束下，最小化总计算负载与最小化最坏情况计算负载之间的权衡。
• 提出一种基于反证法的新型对偶证明技术，用于推导该场景下的紧致信息论边界。
• 识别出编码与非编码方案分别最优的极端情形。

提出的方法

• 采用受MapReduce启发的框架，包含Map、Shuffle和Reduce阶段，其中中间值在节点特定通信负载约束 L1, L2, ..., LK 下进行传输。
• 提出一种反证法技术以推导对偶边界，特别适用于建立计算负载的紧致下界。
• 设计文件分配与数据调度策略，以实现推导出的边界，平衡具有不同通信能力的节点之间的负载。
• 以切集界（cut-set bound）作为基线，并通过一种新颖的对偶论证方法加以扩展，该方法利用熵不等式与条件独立性约束。
• 引入关键引理，以在给定部分信息的条件下对中间值的熵进行上界估计，从而推导出主要的对偶结果。
• 对三节点系统（K=3）进行详细分析，利用对称性与熵链法则，推导出 M∗total 与 M∗worst 的显式边界。

实验结果

研究问题

• RQ1 在异构通信约束下，能否同时实现最小总计算负载与最小最坏情况计算负载？
• RQ2 此类系统中，最小化总负载与最小化峰值负载之间的根本权衡是什么？
• RQ3 单个节点的通信能力（L1, L2, ..., LK）如何影响最坏情况计算负载？
• RQ4 与非编码方案相比，编码分布式计算在何种情形下是最优的？
• RQ5 反证法是否能有效用于推导具有非对称约束的分布式计算中的紧致对偶边界？

主要发现

• 对于 K=3, Q=3, N=7, L1=L2=2, L3=14 的系统，最小总计算负载 M∗total 为 7，而最小最坏情况计算负载 M∗worst 为 4，且二者无法同时实现。
• 当总通信负载 L 固定时，M∗total 在不同 Li 分配下保持不变，但 M∗worst 会随具体 Li 值变化，表明个体约束对最坏情况负载具有显著影响。
• 最小化总计算负载与最小化最坏情况计算负载之间存在根本性权衡：优化其中一项可能恶化另一项。
• 在通信约束严重失衡的场景中（例如某节点容量极高），编码方案是最优的；而在平衡约束下，非编码方案是最优的。
• 反证法技术在推导紧致对偶边界方面极为有效，尤其当标准切集界不足以提供紧致下界时。
• 对于三节点系统，所推导的边界是紧致的，且显式依赖于集合 Wk 与 Mk 的大小以及通信约束 Lk。