[论文解读] Coded Fourier Transform

Qian Yu, Mohammad Ali Maddah-Ali+1 more|arXiv (Cornell University)|Oct 17, 2017

Parallel Computing and Optimization Techniques参考文献 23被引用 8

一句话总结

本文提出 Coded FFT，一种新颖的分布式计算策略，利用编码理论与傅里叶变换的代数结构，实现计算 DFT 时的最优恢复阈值 m。通过使用 MDS 编码对输入数据进行编码，并利用 DFT 的线性与递归结构，主节点可从任意 m 个工作者中重构完整变换，消除慢启动延迟，并通过低复杂度的 MDS 解码实现高效恢复。

ABSTRACT

We consider the problem of computing the Fourier transform of high-dimensional vectors, distributedly over a cluster of machines consisting of a master node and multiple worker nodes, where the worker nodes can only store and process a fraction of the inputs. We show that by exploiting the algebraic structure of the Fourier transform operation and leveraging concepts from coding theory, one can efficiently deal with the straggler effects. In particular, we propose a computation strategy, named as coded FFT, which achieves the optimal recovery threshold, defined as the minimum number of workers that the master node needs to wait for in order to compute the output. This is the first code that achieves the optimum robustness in terms of tolerating stragglers or failures for computing Fourier transforms. Furthermore, the reconstruction process for coded FFT can be mapped to MDS decoding, which can be solved efficiently. Moreover, we extend coded FFT to settings including computing general $n$-dimensional Fourier transforms, and provide the optimal computing strategy for those settings.

研究动机与目标

• 解决分布式傅里叶变换计算中的慢启动问题，即缓慢或延迟的工作者节点导致整体性能瓶颈。
• 开发一种计算策略，以最小化恢复阈值——主节点必须等待的最少工作者数量，以重构输出。
• 通过利用编码理论与 DFT 运算的代数结构，实现对慢启动的最优鲁棒性。
• 将所提策略扩展至多维傅里叶变换，同时保持恢复阈值的最优性。
• 通过将重构映射至 MDS 解码，确保低复杂度解码，从而实现从任意 m 个工作者结果中高效恢复。

提出的方法

• 利用傅里叶变换的递归结构，将 DFT 分解为更小的、相同的子变换。
• 在分发前对输入数据应用线性 MDS 编码，确保工作者之间的中间结果为子变换的线性组合。
• 将编码后的数据存储在 N 个工作者中，使得每个工作者计算其分配的编码数据子集的 DFT。
• 利用 DFT 的线性性质，确保每个工作者的输出是子变换的编码版本，从而在主节点实现 MDS 解码。
• 使用 MDS 解码从任意 m 个工作者结果中重构完整 DFT，实现理论上的最小恢复阈值。
• 通过将输入张量分组、对每组索引应用 MDS 编码，并将编码符号分配给工作者，将该框架扩展至 n 维 DFT。

实验结果

研究问题

• RQ1 编码理论能否用于在慢启动条件下实现分布式 DFT 计算的最优恢复阈值？
• RQ2 如何利用傅里叶变换的代数特性——特别是其线性与递归分解——来设计高效的编码计算策略？
• RQ3 是否可能将编码 FFT 策略推广至多维傅里叶变换，同时保持恢复阈值的最优性？
• RQ4 最终输出的解码计算复杂度是多少？能否通过 MDS 解码实现高效性？
• RQ5 所提方案在通信负载与恢复阈值方面是否实现信息论最优？

主要发现

• 所提出的 Coded FFT 实现了最优恢复阈值 m，即主节点可从任意 m 个工作者中重构完整 DFT，达到理论最小值。
• 解码过程可直接映射至 MDS 解码，实现高效重构，其复杂度上界为 O(s log²m log log m)，与输入大小 s 呈线性关系。
• 对于多维 DFT，该方法通过将输入张量分组并按索引组应用 MDS 编码实现泛化，同时保持 m 的最优恢复阈值。
• 基于割集界（cut-set bound）的反证法证明，m 是所需工作者结果数量的信息论下限，从而确认了最优性。
• 在有限域上均匀随机输入张量下，该方案具有鲁棒性，其中输出的随机性确保少于 m 个工作者无法提供足够信息。
• 该方法通过最小化恢复阈值与所需通信负载，实现了通信与延迟最优的性能。