[論文レビュー] Distributed Computing with Heterogeneous Communication Constraints: The Worst-Case Computation Load and Proof by Contradiction

Nishant Shakya, Fan Li+1 more|arXiv (Cornell University)|Feb 1, 2018

Stochastic Gradient Optimization Techniques参考文献 2被引用数 10

ひとこと要約

本稿は、ノードが異なるデータ伝送容量を持つ非均一な通信制約下における分散コンピューティングを研究する。証明の背理法を用いた新規な手法により、タイトな逆問題境界を導出し、総計算負荷を最小化することと最悪ケース負荷を最小化することの間にある根本的なトレードオフを明らかにする。ここで、符号化は通信量を削減するが、ピーク負荷を増加させる可能性があり、逆に非符号化ではその逆となる。本研究は極端な状態における最適な手法を同定し、特定のパrameterセットに対して正確な境界を提供する。

ABSTRACT

We consider a distributed computing framework where the distributed nodes have different communication capabilities, motivated by the heterogeneous networks in data centers and mobile edge computing systems. Following the structure of MapReduce, this framework consists of Map computation phase, Shuffle phase, and Reduce computation phase. The Shuffle phase allows distributed nodes to exchange intermediate values, in the presence of heterogeneous communication bottlenecks for different nodes (heterogeneous communication load constraints). For this setting, we characterize the minimum total computation load and the minimum worst-case computation load in some cases, under the heterogeneous communication load constraints. While the total computation load depends on the sum of the computation loads of all the nodes, the worst-case computation load depends on the computation load of a node with the heaviest job. We show an interesting insight that, for some cases, there is a tradeoff between the minimum total computation load and the minimum worst-case computation load, in the sense that both cannot be achieved at the same time. The achievability schemes are proposed with careful design on the file assignment and the data shuffling. Beyond the cut-set bound, a novel converse is proposed using the proof by contradiction. For the general case, we identify two extreme regimes in which both the scheme with coding and the scheme without coding are optimal, respectively.

研究の動機と目的

• 非均一な通信制約下における分散コンピューティングシステムの最小総計算負荷および最小最悪ケース計算負荷を同定すること。
• これらの制約下で、総計算負荷を最小化することと最悪ケース計算負荷を最小化することの間のトレードオフを調査すること。
• この設定において、タイトな情報理論的境界を導出するための背理法に基づく新規な逆問題証明技法を開発すること。
• 符号化と非符号化の両方の手法が最適となる極端な状態領域を特定すること。

提案手法

• Map、Shuffle、Reduceの3フェーズを持つMapReduceを模したフレームワークを用い、中間値のシャッフルをノードごとの通信負荷制約 L1, L2, ..., LK に従って実行する。
• 特に計算負荷のタイトな下界を確立するのに効果的な、背理法に基づく証明手法を提案する。
• 得られた境界に到達するためのファイル割り当ておよびデータシャッフル戦略を設計し、通信能力に差があるノード間での負荷をバランスさせる。
• カットセット境界をベースラインとして用い、エントロピー不等式および条件付き独立制約を活用した新規な逆問題議論を拡張して応用する。
• 中間値のエントロピーを部分情報が与えられたもとで束縛するための重要な補題を導入し、主要な逆問題結果の導出を可能にする。
• K=3 の3ノード系を詳細に分析し、対称性とエントロピーの鎖則を用いて、M∗total および M∗worst の明示的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非均一な通信制約下で、最小総計算負荷と最小最悪ケース計算負荷を同時に達成できるか？
• RQ2 このようなシステムにおける、総負荷を最小化することとピーク負荷を最小化することの根本的トレードオフは何か？
• RQ3 個々のノードの通信能力（L1, L2, ..., LK）は、最悪ケース計算負荷にどのように影響するか？
• RQ4 符号化分散コンピューティングが非符号化手法と比較して、どのような状態で最適となるか？
• RQ5 非対称な制約下の分散コンピューティングにおいて、背理法を用いてタイトな逆問題境界を効果的に導出できるか？

主な発見

• K=3, Q=3, N=7, L1=L2=2, L3=14 のシステムにおいて、最小総計算負荷 M∗total は 7 であり、最小最悪ケース計算負荷 M∗worst は 4 であるが、これらは同時に達成できない。
• 総通信負荷 L が固定されている場合、個々の Li の分布が異なっても M∗total は一定に保たれるが、M∗worst は個々の Li の値に依存して変化するため、個々の制約が最悪ケース負荷に影響することを示している。
• 総計算負荷を最小化することと最悪ケース計算負荷を最小化することの間には、根本的なトレードオフが存在する。一方を改善すると、他方が悪化する可能性がある。
• 通信制約が著しく不均衡な状態（例：1つのノードが非常に高い容量を持つ）では符号化手法が最適であり、バランスの取れた状態では非符号化手法が最適である。
• 背理法に基づく証明手法は、標準的なカットセット境界が不十分な場合に特に有効であり、タイトな逆問題境界を導出するのに顕著に効果的である。
• 3ノード系では、導出された境界はタイトであり、集合 Wk および Mk のサイズ、および通信制約 Lk に明示的に依存する。