[論文レビュー] Coded Fourier Transform

Qian Yu, Mohammad Ali Maddah-Ali+1 more|arXiv (Cornell University)|Oct 17, 2017

Parallel Computing and Optimization Techniques参考文献 23被引用数 8

ひとこと要約

本稿では、符号理論とフーリエ変換の代数的構造を活用して、分散システムにおけるDFTの計算において最適な回復閾値mを達成する新しい分散計算戦略、Coded FFTを提案する。入力データをMDS符号で符号化し、DFTの線形性と再帰的構造を活用することで、マスタは任意のm台のワーカーからの結果から全変換を再構成可能となり、遅延の大きいワーカー（ストラグル）の影響を排除し、低複雑度のMDS復号を実現する。

ABSTRACT

We consider the problem of computing the Fourier transform of high-dimensional vectors, distributedly over a cluster of machines consisting of a master node and multiple worker nodes, where the worker nodes can only store and process a fraction of the inputs. We show that by exploiting the algebraic structure of the Fourier transform operation and leveraging concepts from coding theory, one can efficiently deal with the straggler effects. In particular, we propose a computation strategy, named as coded FFT, which achieves the optimal recovery threshold, defined as the minimum number of workers that the master node needs to wait for in order to compute the output. This is the first code that achieves the optimum robustness in terms of tolerating stragglers or failures for computing Fourier transforms. Furthermore, the reconstruction process for coded FFT can be mapped to MDS decoding, which can be solved efficiently. Moreover, we extend coded FFT to settings including computing general $n$-dimensional Fourier transforms, and provide the optimal computing strategy for those settings.

研究の動機と目的

• 遅延や遅れが生じるワーカーノードが全体の性能を制限する分散フーリエ変換計算におけるストラグル問題に対処すること。
• マスタが出力を再構成するために待つ必要があるワーカーの最小数（回復閾値）を最小限に抑える計算戦略を開発すること。
• 符号理論とDFT演算の代数的構造を活用して、ストラグルに対して最適な耐性を達成すること。
• 回復閾値の最適性を保ちながら、多次元フーリエ変換へとその戦略を拡張すること。
• 再構成をMDS復号にマッピングすることで、任意のmワーカーの結果から効率的に復元できる低複雑度の復号を保証すること。

提案手法

• フーリエ変換の再帰的構造を用いてDFTをより小さな同一の部分変換に分解する。
• 配布前に入力データに線形MDS符号を適用し、ワーカー間の途中結果が部分変換の線形結合となるように保証する。
• N台のワーカーに符号化されたデータを格納し、各ワーカーが割り当てられた符号化データの部分集合のDFTを計算する。
• DFTの線形性を活用して、各ワーカーの出力が部分変換の符号化版であることを保証し、マスタでのMDS復号を可能にする。
• MDS復号を用いて、任意のmワーカーの結果から全DFTを再構成し、理論的最小限の回復閾値を達成する。
• 入力テンソルをグループ化し、MDS符号を用いて符号化し、符号化シンボルをワーカーに割り当てることで、n次元DFTにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 ストラグル状態下で、符号理論を用いて分散DFT計算の最適な回復閾値を達成できるか？
• RQ2 フーリエ変換の代数的性質、特に線形性と再帰的分解を活用して、効率的な符号化計算戦略を設計できるか？
• RQ3 Coded FFT戦略を多次元フーリエ変換に一般化可能か。その際、回復閾値の最適性を保てるか？
• RQ4 最終出力の復号の計算複雑度は何か。MDS復号により効率化できるか？
• RQ5 提案された方式は、通信負荷と回復閾値の観点で情報理論的最適性を達成するか？

主な発見

• 提案されたCoded FFTは、最適な回復閾値mを達成しており、マスタは任意のmワーカーからの結果から全DFTを再構成可能であり、理論的最小値である。
• 復号プロセスは直接的にMDS復号にマッピングされ、入力サイズsに比例する複雑度で上界がO(s log²m log log m)に抑えられ、線形に保証される。
• 多次元DFTでは、入力テンソルをグループ化し、各インデックスグループごとにMDS符号化を適用することで一般化され、回復閾値mが最適性を保たれる。
• カットセット境界に基づく逆方向の議論により、必要なワーカー結果数の情報理論的下界がmであることが証明され、最適性が確認される。
• 有限体上での一様なランダム入力テンソルに対して、出力のランダム性により、m未満のワーカーでは十分な情報を得られないことが保証され、方式は頑健である。
• 通信負荷と回復閾値の両方を最小化することで、通信および遅延最適性能を達成する。