[論文レビュー] Storage, Computation, and Communication: A Fundamental Tradeoff in Distributed Computing

Qifa Yan, Sheng Yang+1 more|arXiv (Cornell University)|Jun 20, 2018

Cloud Computing and Resource Management参考文献 10被引用数 3

ひとこと要約

本稿は、符号化分散コンピューティングフレームワークに対してタイトな逆問題を導出し、分散コンピューティングにおけるストレージ、計算、通信の基本的トレードオフを確立している。最近提案されたD3C方式が最適なトレードオフを達成することを証明し、MapReduceに類似したシステムにおけるストレージ、計算、通信コストのパレート最適表面を完全に特徴づけている。

ABSTRACT

We consider a MapReduce-like distributed computing system. We derive a lower bound on the communication cost for any given storage and computation costs. This lower bound matches the achievable bound we proposed recently. As a result, we completely characterize the optimal tradeoff between the storage, the computation, and the communication. Our result generalizes the previous one by Li et al. to also account for the number of computed intermediate values.

研究の動機と目的

• 分散コンピューティングシステムにおけるストレージ、計算、通信の間の基本的トレードオフを特徴づけること。
• 従来の符号化分散コンピューティング（CDC）の研究を拡張し、保存されるデータ量だけでなく、実際に計算される中間値の数を考慮すること。
• D3C方式に対する一致する逆問題を証明することで、実現可能スケームと理論的限界の間のギャップを埋めること。
• Liらの通信・ストレージトレードオフを、計算コストを最初等の次元として含める形に一般化すること。
• すべての3つのシステムリソースについて、パレート最適トレードオフ表面を完全に特徴づけること。

提案手法

• KノードとNファイルを持つ分散コンピューティングモデルを形式化し、各ノードがファイルの一部を保存し、中間値（IVA）の一部を計算することを想定する。
• ストレージコストとは別に、ノードあたりの計算されたIVA数の正規化された数として計算コストを定義する新しい指標を導入する。
• 情報理論的不等式とエントロピーに基づく境界技術を用いて、通信負荷の逆問題境界を導出する。
• ノードの部分集合についての帰納法を用いた証明により、条件付きエントロピーの下界を確立し、通信負荷の下界を得る。
• 中間値間の対称性と独立性の仮定を活用して、条件付きエントロピーの式を簡略化する。
• 導出された逆問題境界をD3C方式の実現可能性能と一致させ、最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 分散コンピューティングシステムにおけるストレージ、計算、通信の基本的トレードオフは何か？
• RQ2 ストレージコストと計算コストの組み合わせが与えられたとき、通信負荷を最小化できるか？
• RQ3 D3C方式は最適なトレードオフを達成するのか、それとも実現可能境界と逆問題境界の間にギャップがあるのか？
• RQ4 実際に計算される（すなわち、計算されるIVAの数を）考慮することで、古典的なストレージ・通信トレードオフはどのように洗練されるか？
• RQ5 通信負荷の下界はタイトか？ また、実用的なスケームによって達成可能か？

主な発見

• 本稿は、D3C方式の性能と一致するタイトな逆問題境界を通信負荷について確立し、最適性を証明している。
• 最適なトレードオフ表面は、すべての実現可能な（ストレージ、計算、通信）三つ組のパレートフロンティアとして完全に特徴づけられている。
• 導出された逆問題境界は、$ T \sum_{j=1}^{s-1} \frac{b_{\mathcal{S},j}}{j} $ として表現され、ここで $ b_{\mathcal{S},j} $ は部分集合 $ \mathcal{S} $ 内で丁度 j 個のノードが計算する中間値の数を数える。
• 計算コストを設計変数として明示的に組み込むことで、Li らのストレージ・通信トレードオフを一般化している。
• すべての空でないノード部分集合に対して成り立つ帰納法に基づくエントロピー不等式に依存しており、境界の一般性を保証している。
• 主な洞察は、IVAの計算を部分的に許容することで、通信量を増加させずに計算コストを削減でき、より良いリソーストレードオフが達成できることである。