[論文レビュー] A Combinatorial Design for Cascaded Coded Distributed Computing on General Networks

Nicholas Woolsey, Rong‐Rong Chen+1 more|arXiv (Cornell University)|Aug 2, 2020

Stochastic Gradient Optimization Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、均一および非均一ネットワークにおける段階的符号化分散コンピューティング（CDC）のため、ハイパーキューブイド構造を用いた新しい組み合わせ的設計を提案する。入力ファイルおよび出力関数の割り当てを最適化することで、通信負荷を顕著に低減し、先行研究を上回る性能を達成する。同時に、入力ファイルおよび関数の必要数を指数関数的に削減し、情報理論的限界の定数倍の範囲内でほぼ最適な性能を達成する。

ABSTRACT

Coding theoretic approached have been developed to significantly reduce the communication load in modern distributed computing system. In particular, coded distributed computing (CDC) introduced by Li et al. can efficiently trade computation resources to reduce the communication load in MapReduce like computing systems. For the more general cascaded CDC, Map computations are repeated at r nodes to significantly reduce the communication load among nodes tasked with computing Q Reduce functions s times. In this paper, we propose a novel low-complexity combinatorial design for cascaded CDC which 1) determines both input file and output function assignments, 2) requires significantly less number of input files and output functions, and 3) operates on heterogeneous networks where nodes have varying storage and computing capabilities. We provide an analytical characterization of the computation-communication tradeoff, from which we show the proposed scheme can outperform the state-of-the-art scheme proposed by Li et al. for the homogeneous networks. Further, when the network is heterogeneous, we show that the performance of the proposed scheme can be better than its homogeneous counterpart. In addition, the proposed scheme is optimal within a constant factor of the information theoretic converse bound while fixing the input file and the output function assignments.

研究の動機と目的

• 通信負荷の向上を達成するために、大量の入力ファイルおよび出力関数を必要とする既存の段階的CDCスキームの制限を解消すること。
• ストレージ、計算、通信能力にばらつきがある非均一ネットワークにおける符号化分散コンピューティングの拡張を図ること。
• 計算負荷と通信負荷のトレードオフを改善するために、入力ファイルおよび出力関数の割り当てを同時に最適化する低複雑度の設計を開発すること。
• 提案スキームが最先端の均一ネットワークCDCスキームを上回り、非均一環境でも優れた性能を発揮することを示すこと。

提案手法

• 本稿では、ハイパーキューブイドの組み合わせ的構造を用いて、ノード間で入力ファイルおよびReduce関数を割り当て、効率的な符号化マルチキャストを実現する。
• 通信負荷を最小化するために、残りのサイズが最大の次元を優先する動的順列に基づくノード選択戦略を導入する。
• シャッフル段階におけるランダム線形結合の必要性を低減することで、符号化および復号の複雑度を低下させる。
• 各ノードがハイパーキューブイドの1層を除去する段階的削減プロセスを採用し、利用可能なファイルおよび割り当てられた関数に基づいて有効サイズを縮小する。
• ハイパーキューブイドの次元の積項に関する組み合わせ的総和を用いて解析的境界を導出し、通信負荷の閉形式表現を導出する。
• 通信負荷は、異なるノード順序戦略に基づく2つの下界（L_P1 および L_P2）を用いて特徴づけられ、これらを統合することで全体の性能限界を導出する。

実験結果

リサーチクエスチョン

• RQ1 段階的CDCにおいて、入力ファイルおよび出力関数の必要数を削減しつつ通信負荷の利点を維持できる低複雑度の組み合わせ的設計を開発できるか？
• RQ2 提案スキームは、均一および非均一ネットワーク設定の両方で、既存のCDCスキームを上回る性能を発揮するか？
• RQ3 Liらが均一ネットワークに対して確立した境界を越えて、段階的CDCにおける根本的な計算-通信トレードオフを改善できるか？
• RQ4 ノードの能力（ストレージ、計算、通信）が非均一な場合、提案設計はどのように動作するか？
• RQ5 シャッフル段階におけるランダム線形結合の最小化によって、符号化／復号の複雑度はどの程度低減されるか？

主な発見

• 固定された入力ファイルおよび関数割り当てのもとでも、本稿のスキームはLi らの最先端スキームよりも通信負荷が厳密に低くなることが確認された。
• 非均一ネットワークでは、均一ネットワーク版のスキームおよび先行スキームをすべて上回り、ノード能力のばらつきに適応可能であることが示された。
• 従来の段階的CDC設計と比較して、必要な入力ファイルおよび出力関数の数が指数関数的に削減され、ノード数に対してO(1)のスケーリングを達成した。
• 固定されたファイルおよび関数割り当てのもとで、情報理論的逆問題境界の定数倍の範囲内で最適な計算-通信トレードオフを達成した。
• 2種類の異なるノード順序戦略に基づく解析的境界を用いて通信負荷を評価し、残りのハイパーキューブイド次元が最大となる順序を採用した場合に、よりタイトな境界が得られた。
• 大規模ネットワーク（r = Θ(1) または r = o(K) の場合）、提案スキームの通信負荷と下界の比は 1 + o(1) に近づき、近似的に最適性が確認された。