[論文レビュー] Fundamental Limits of Coded Linear Transform

Sinong Wang, Jiashang Liu+2 more|arXiv (Cornell University)|Apr 25, 2018

Cooperative Communication and Network Coding参考文献 11被引用数 33

ひとこと要約

本稿では、分散線形変換における最適な回復閾値と最適な計算負荷を両立する新しい符号化計算戦略「s-対角符号」を提案する。従来手法を著しく上回る性能を示す。さらに、確率的ランダム符号（p-Bernoulli符号および(d₁,d₂)-クロス符号）を導入し、著しく低減された計算負荷でほぼ最適な回復閾値を達成する。実験により、勾配降下法における収束が最大4倍速くなることが確認された。

ABSTRACT

In large scale distributed linear transform problems, coded computation plays an important role to effectively deal with "stragglers" (distributed computations that may get delayed due to few slow or faulty processors). We propose a coded computation strategy, referred to as diagonal code, that achieves the optimum recovery threshold and the optimum computation load. This is the first code that simultaneously achieves two-fold optimality in coded distributed linear transforms. Furthermore, by leveraging the idea from random proposal graph theory, we design two random codes that can guarantee optimum recovery threshold with high probability but with much less computation load. These codes provide order-wise improvement over the state-of-the-art. Moreover, the experimental results show significant improvement compared to both uncoded and existing coding schemes.

研究の動機と目的

• 大規模な分散線形変換におけるスレッダー・ワーカーに起因する性能ボトルネックを解消すること。
• 符号化分散線形計算における回復閾値と計算負荷の根本的限界を特定すること。
• 同時に最適な回復閾値と最適な計算負荷を達成する符号化戦略を設計すること。
• 高い確率でほぼ最適な回復閾値を達成しつつ、著しく低減された計算負荷を実現する確率的符号化方式を開発すること。

提案手法

• 最適な回復閾値nと最適な計算負荷n(s+1)を達成する決定的符号化戦略「s-対角符号」を提案。
• 出力次元に関して近線形時間O(r)で復号可能な、ピーリングとガウスの消去法を組み合わせたハイブリッド復号アルゴリズムを設計。
• 各ワーカーが確率pで部分行列のランダム重み付き和を格納するp-Bernoulli符号を導入。これにより、高確率で回復閾値nを達成。
• スパarsityを制御可能な構造的ランダム符号である(d₁,d₂)-クロス符号を提案。確率的保証により、低計算負荷で最適な回復閾値を達成。
• 高い確率でのスレッダー状況を想定した、確率的回復閾値メトリクスを採用して各手法の性能を評価。
• MPIベースの通信パターンを用いた分散コンピューティングシミュレーションと実世界のデータセットを用いて性能を検証。

実験結果

リサーチクエスチョン

• RQ1 符号化分散線形変換における回復閾値と計算負荷の根本的下限は何か？
• RQ2 1つの符号化方式が、同時に最適な回復閾値と最適な計算負荷を達成できるか？
• RQ3 ランダム符号化方式は、著しく低減された計算負荷でほぼ最適な回復閾値を達成できるか？
• RQ4 提案された符号は、スレッダー状況下における実世界の分散システムでどのように性能を発揮するか？

主な発見

• s-対角符号は理論的最小回復閾値nと最小計算負荷n(s+1)を達成し、回復と負荷の両面で最適性を証明した。
• p = 2 log(n)/nとすると、p-Bernoulli符号は高確率で最適な回復閾値を達成しつつ、多項式符号と比較して計算負荷を1桁低減した。
• (2,2)-クロス符号は、s=4のスレッダー下で、非符号化、LT、スパースMDS、多項式符号を上回るジョブ完了時間性能を示し、勾配降下法における収束が最大4倍速くなった。
• s=2の場合、s-対角符号は(2,2)-クロス符号を上回る性能を示したが、sが増加するにつれて、s-対角符号の性能は計算負荷の増加により劣化する一方、(2,2)-クロス符号は安定した性能を維持した。
• (2,2)-クロス符号は、ワークロードの不規則性によりI/O競合を低減し、計算負荷が類似しているにもかかわらず、より高速な実行を実現した。
• 符号化勾配降下法において、(2,2)-クロス符号はスパースMDSより少なくとも20%速く収束し、非符号化およびLT符号より2倍速く、多項式符号より4倍速かった（s=4の条件下）。