[論文レビュー] Heterogeneous Coded Distributed Computing: Joint Design of File Allocation and Function Assignment

Fan Xu, Meixia Tao|arXiv (Cornell University)|Aug 19, 2019

Stochastic Gradient Optimization Techniques参考文献 14被引用数 4

ひとこと要約

本稿は、計算能力が異なるノードを有する非均一な符号化分散コンピューティングシステムに対して、ファイルの割り当てと関数の割り当てを統合的に最適化する手法を提案する。ファイルを必須バッチとオプションバッチに分割し、シャッフルフェーズにおける符号化マルチキャストを活用することで、同等の均一システムにおける最適値から定数倍のギャップ（最大20e）以内の通信負荷を達成する。特定の状況では先行研究を上回る性能を示す。

ABSTRACT

This paper studies the computation-communication tradeoff in a heterogeneous MapReduce computing system where each distributed node is equipped with different computation capability. We first obtain an achievable communication load for any given computation load and any given function assignment at each node. The proposed file allocation strategy has two steps: first, the input files are partitioned into disjoint batches, each with possibly different size and computed by a distinct node; then, each node computes additional files from its non-computed files according to its redundant computation capability. In the Shuffle phase, coded multicasting opportunities are exploited thanks to the repetitive file allocation among different nodes. Based on this scheme, we further propose the computation-aware and the shuffle-aware function assignments. We prove that, by using proper function assignments, our achievable communication load for any given computation load is within a constant multiplicative gap to the optimum in an equivalent homogeneous system with the same average computation load. Numerical results show that our scheme with shuffle-aware function assignment achieves better computation-communication tradeoff than existing works in some cases.

研究の動機と目的

• ノードの計算能力とストレージ能力に差がある非均一なMapReduceシステムにおける計算-通信トレードオフを扱う。
• 冗長な計算能力を活用してシャッフルフェーズにおける符号化マルチキャストの機会を創出するファイル割り当て戦略の設計。
• 非均一なノード能力を考慮した計算に配慮したおよびシャッフルに配慮した関数割り当て戦略を提案し、通信負荷を最適化する。
• 提案手法が、同等の均一システムにおける最適値から定数倍のギャップ（最大20e）以内の通信負荷を達成することを証明する。
• 数値結果を通じて、特定の非均一構成において既存手法を上回ることを示す。

提案手法

• N個の入力ファイルをK個の互いに素なバッチに分割：各ノードに1つずつ割り当てる必須ファイルと、冗長能力に基づいて計算されるオプションファイル。
• 各ノードの計算負荷m_kに応じてマップ関数を割り当て、ノードは必須ファイルに加え、他のノードのオプションファイルを追加で計算する。
• オプションファイルの計算に起因するノード間のファイル再重複を活用して、シャッフルフェーズで符号化マルチキャストを実装する。
• 計算に配慮した（高能力ノードに多くの関数を割り当てる）およびシャッフルに配慮した（符号化マルチキャストの利点を最適化する）2つの関数割り当て戦略を提案。
• 任意の計算負荷と関数割り当てに対して、達成可能な通信負荷の閉形式表現を導出する。
• 漸近的解析とケース別バウンディング技術を用いて、同等の均一システムにおける最適負荷に対する乗法的ギャップを証明する。

実験結果

リサーチクエスチョン

• RQ1 非均一な符号化分散コンピューティングシステムにおいて、ファイル割り当てと関数割り当ての統合的設計が、近似的に最適な通信負荷を達成できるか？
• RQ2 必須ファイルとオプションファイルに分ける提案されたファイル分割戦略は、シャッフルフェーズにおける符号化マルチキャストの機会をどのように向上させるか？
• RQ3 提案手法の通信負荷と同等の均一システムにおける最適負荷との間の最大乗法的ギャップは何か？
• RQ4 計算に配慮したおよびシャッフルに配慮した関数割り当て戦略は、非均一システムにおける通信-計算トレードオフにどのように影響を与えるか？
• RQ5 どのような条件下で、提案手法が通信負荷の観点で既存手法を上回るか？

主な発見

• 提案手法は、平均計算負荷が同一の均一システムにおける最適値から定数倍のギャップ（最大20e）以内の通信負荷を達成する。
• 特定の非均一構成において、シャッフルに配慮した関数割り当て戦略は、既存手法よりも優れた計算-通信トレードオフを実現する。
• 任意の計算負荷と関数割り当てに対して通信負荷の閉形式表現が得られ、体系的な最適化が可能になる。
• 数値結果により、ノード能力が著しく非均一な状況において、既存手法を上回る通信負荷の低減が確認された。
• 解析により、非一様なノード能力下でも、有界な乗法的ギャップを介して強い性能保証を維持できることを示した。
• 必須バッチとオプションバッチにファイルを分割する手法は、冗長計算能力を活用して効率的な符号化マルチキャストを実現するのに効果的である。