[论文解读] Communication Lower Bounds for Distributed-Memory Computations

Michele Scquizzato, Francesco Silvestri|arXiv (Cornell University)|Jul 6, 2013

Stochastic Gradient Optimization Techniques参考文献 30被引用 8

一句话总结

本文在比以往工作更弱的假设下，为基本的共享内存计算——矩阵乘法、有限差分计算、排序和FFT——建立了新的通信下界。通过放松对工作负载均衡、固定输入分布或本地内存有界等约束，作者推导出更紧致、更具普适性的下界，揭示了在现实条件下并行算法的固有通信开销。

ABSTRACT

We give lower bounds on the communication complexity required to solve several computational problems in a distributed-memory parallel machine, namely standard matrix multiplication, stencil computations, comparison sorting, and the Fast Fourier Transform. We revisit the assumptions under which preceding results were derived and provide new lower bounds which use much weaker and appropriate hypotheses. Our bounds rely on a mild assumption on work distribution, and strengthen previous results which require either the computation to be balanced among the processors, or specific initial distributions of the input data, or an upper bound on the size of processors' local memories.

研究动机与目标

• 解决以往通信下界依赖于严格假设（如工作负载均衡或外部输入内存）的局限性。
• 通过采用更弱、更现实的假设，开发出对现实世界分布式内存系统更具普适性的下界。
• 阐明诸如输入复制或中间结果重计算等假设是否显著影响并行算法中的通信复杂度。
• 为BSP、LogP和MapReduce等模型中的通信高效算法设计提供更强的理论基础。

提出的方法

• 在批量同步并行（BSP）模型中形式化问题，该模型将分布式内存系统建模为具有p个处理器、无界私有内存和消息传递通信的系统。
• 引入对工作分布的温和假设——每个处理器执行O(W/p)次操作——而非要求完美负载均衡。
• 基于输入/输出节点分布和DAG中的消息传递（如FFT的DAG）提出新颖论证，推导下界时无需假设输入复制或外部内存。
• 应用Bilardi等人[9]的技术，根据输出节点分布和非重计算约束来界定通信复杂度。
• 通过矛盾法和FFT DAG中的循环移位论证证明下界，表明在不允许重计算的前提下，至少需要W/(8 log W)条消息。
• 通过考虑最坏情况下的输出分布并交换处理器角色，将结果推广至一般情形，最终得出下界：Ω(n log n / (p log(n/p)))。

实验结果

研究问题

• RQ1 是否可以在不假设处理器间工作负载均衡的前提下推导出通信下界？
• RQ2 当输入数据未均匀分布或未存储在外部内存中时，现有下界是否仍然有效？
• RQ3 通过允许有限次中间结果重计算，通信复杂度最多可降低多少？
• RQ4 在分布式内存模型中，非重计算假设是否对推导紧致通信下界是必要的？
• RQ5 相同下界技术能否在不显著修改的情况下推广至MapReduce或LogP等模型？

主要发现

• 本文为p个处理器上的FFT计算建立了通信下界Ω(n log n / (p log(n/p)))，且在温和假设下成立。
• 即使初始输入数据未被复制且工作负载未完全均衡，该下界依然有效，因此比以往结果更具普适性。
• 当W = O(n^ε log n)（对任意ε ∈ (0,1)）时，该下界是紧致的，且可被在子问题规模为Θ(W / log W)时停止递归的递归算法所匹配。
• 分析表明，只要禁止重计算，仅靠计算不平衡无法显著降低通信开销。
• 该结果在类似BSP的模型（如LogP和MapReduce）中依然成立，表明其具有广泛适用性。
• 研究表明，输入复制或外部内存等假设并非推导有意义下界的必要条件，挑战了以往的建模选择。