[論文レビュー] A Unified Coding Framework for Distributed Computing with Straggling Servers

Songze Li, Mohammad Ali Maddah-Ali+1 more|arXiv (Cornell University)|Sep 6, 2016

Caching and Content Delivery参考文献 10被引用数 17

ひとこと要約

本稿では、遅延と通信負荷のトレードオフを考慮した分散行列乗算の統一符号化フレームワークを提案する。既存の手法—通信量最小化のための最小帯域幅符号（Minimum Bandwidth Code）と計算遅延最小化のための最小遅延符号（Minimum Latency Code）—を一般化することで、遅延-負荷トレードオフの任意の点で体系的な動作が可能となり、両端で情報理論的下界の定数倍以内の性能を達成する。

ABSTRACT

We propose a unified coded framework for distributed computing with straggling servers, by introducing a tradeoff between "latency of computation" and "load of communication" for some linear computation tasks. We show that the coded scheme of [1]-[3] that repeats the intermediate computations to create coded multicasting opportunities to reduce communication load, and the coded scheme of [4], [5] that generates redundant intermediate computations to combat against straggling servers can be viewed as special instances of the proposed framework, by considering two extremes of this tradeoff: minimizing either the load of communication or the latency of computation individually. Furthermore, the latency-load tradeoff achieved by the proposed coded framework allows to systematically operate at any point on that tradeoff to perform distributed computing tasks. We also prove an information-theoretic lower bound on the latency-load tradeoff, which is shown to be within a constant multiplicative gap from the achieved tradeoff at the two end points.

研究の動機と目的

• 分散行列乗算における遅延するサーバーの課題に対処するため、2つの既存の符号化手法を統合すること。
• マップフェーズにおける計算遅延とシャッフルフェーズにおける通信負荷の間のトレードオフを形式化すること。
• 遅延-負荷トレードオフの任意の点で体系的に動作する単一の符号化フレームワークを設計すること。
• 通信負荷の情報理論的下界を証明し、両端で提案手法がこの下界の定数倍以内に収まるようにすること。
• 先行研究の手法—最小帯域幅符号と最小遅延符号—を、提案フレームワークの特殊ケースとして一般化すること。

提案手法

• 通信負荷最小化と計算遅延最小化の2つの極端の間を補間する統一符号フレームワークを導入する。
• 複数の出力割り当てを含むコンパound設定を用いて、通信負荷のカットセット境界を導出する。
• 複数のサーバー部分集合にわたるカットセット境界を適用し、最小達成可能な通信負荷の下界を導出する。
• 中間計算における冗長性を変化させることで、遅延と負荷のトレードオフを達成する符号化方式を構築する。
• MDS符号と符号化マルチキャスティングを活用し、遅延するサーバーの緩和と通信効率の両方を同時に達成する。
• 提案手法が、トレードオフの両端で下界の定数乗法的ギャップ内に達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 分散行列乗算における既存の符号化手法を、計算遅延と通信負荷のバランスを取る1つのフレームワークに統合できるか？
• RQ2 遅延するサーバーを伴う分散行列乗算において、計算遅延と通信負荷の根本的トレードオフは何か？
• RQ3 与えられた計算遅延に対して、符号化方式が通信負荷の情報理論的下界にどの程度近づけるか？
• RQ4 最小帯域幅符号と最小遅延符号は、より一般的なフレームワークの特殊ケースとして見なせるか？
• RQ5 遅延-負荷トレードオフ全体にわたり、提案手法と情報理論的下界との性能ギャップは何か？

主な発見

• 提案フレームワークは、遅延-負荷トレードオフの両端で最小帯域幅符号と最小遅延符号を特殊ケースとして一般化する。
• フレームワークは、トレードオフの任意の点で体系的な動作を可能にし、システム制約に応じた柔軟な最適化を可能にする。
• コンパound設定とカットセット論法を用いて、通信負荷の情報理論的下界が導出される。
• 提案手法は、下界の定数乗法的ギャップ $3 + \frac{4}{\frac{1}{\nu}-2}$ 以内に達成され、$\frac{1}{\nu} > 3 + \sqrt{5}$ のとき $3 + \bar{5}$ で有界である。
• すべての $K$ 台のサーバーがマップフェーズを完了した場合（$q = K$）、提案手法の通信負荷は下界の $3 + \bar{5}$ 倍以内である。
• フレームワークは、遅延するサーバーの挙動の変動に強く、マップフェーズを完了する予想サーバー数に応じた適応が可能である。