[论文解读] Coded FFT and Its Communication Overhead

Haewon Jeong, Tze Meng Low+1 more|arXiv (Cornell University)|May 24, 2018

Advanced Data Storage Technologies参考文献 29被引用 6

一句话总结

本文提出一种基于系统型MDS码的编码FFT算法，以增强分布式FFT计算中的容错能力。通过利用MDS编码与通信高效的多播和多归约方案，表明当校验节点数量为 o(log K) 时，编码开销可忽略不计，使其在通信为主要瓶颈的大规模百亿亿次计算系统中具有可行性。

ABSTRACT

We propose a coded computing strategy and examine communication costs of coded computing algorithms to make distributed Fast Fourier Transform (FFT) resilient to errors during the computation. We apply maximum distance separable (MDS) codes to a widely used "Transpose" algorithm for parallel FFT. In the uncoded distributed FFT algorithm, the most expensive step is a single "all-to-all" communication. We compare this with communication overhead of coding in our coded FFT algorithm. We show that by using a systematic MDS code, the communication overhead of coding is negligible in comparison with the communication costs inherent in an uncoded FFT implementation if the number of parity nodes is at most $o(\log K)$, where $K$ is the number of systematic nodes.

研究动机与目标

• 应对因处理器故障率上升而日益严峻的百亿亿次分布式FFT容错挑战。
• 克服传统检查点/重启机制在高故障概率的大规模系统中的局限性。
• 设计一种与广泛使用的“转置”算法无缝集成的编码策略。
• 分析并最小化编码引入的通信开销，尤其是在关键的全对全通信阶段。
• 建立编码开销相对于未编码FFT固有通信成本可忽略不计的条件。

提出的方法

• 将系统型最大距离可分（MDS）码应用于在K个系统处理器和P−K个校验处理器之间分发输入数据。
• 使用包含参数α（每条消息的开销）和β（每符号带宽）的线性模型来建模通信成本。
• 引入并分析两种新型通信原语：用于向r个接收方分发数据的“多播”(p,r,n)，以及用于编码校验符号的“多归约”(p,r,n)。
• 设计一种两步法实现多播，利用全聚集和归约操作，使通信成本控制在理论下限的2倍以内。
• 将多播算法反向使用以实现多归约，用于编码校验符号，通信成本相当。
• 将编码通信成本与未编码FFT中的全对全通信成本进行比较，以评估开销。

实验结果

研究问题

• RQ1 能否将编码应用于分布式FFT的“转置”算法，在不引入禁止性通信开销的前提下提升容错能力？
• RQ2 编码方案中所用新原语——多播和多归约的通信成本是多少？
• RQ3 在何种条件下，编码的通信开销可相对于未编码FFT的本征通信成本忽略不计？
• RQ4 校验节点数量如何影响编码FFT中容错性与通信效率之间的权衡？
• RQ5 所提出的编码方案能否在完全分布式、无共享内存的环境中实现，且无需中心协调器？

主要发现

• 使用所提出的多归约方案编码校验符号的通信成本被限制在 $ 2(\lceil\log_2 K\rceil\alpha + (P-K)\frac{N}{K}\beta) $ 以内，该值在理论下限的2倍以内。
• 未编码FFT中的全对全通信成本为 $ 2(\lceil\log_2 K\rceil\alpha + \frac{N}{2K}\lceil\log_2 K\rceil\beta) $，主要由转置操作主导。
• 当校验节点数量 $ P-K $ 为 $ o(\log K) $ 时，编码通信开销相对于未编码FFT通信成本可忽略不计。
• 条件 $ P-K < \frac{1}{2}\log_2 K $ 确保编码成本小于未编码FFT中的全对全通信成本。
• 所提出的多播和多归约算法实现了接近最优的通信效率，通信成本在信息论下限的2倍以内。
• 分析结果证实，MDS编码可被有效应用于分布式FFT，通信代价极低，从而在大规模系统中实现实用的容错能力。