[論文レビュー] Diversity/Parallelism Trade-off in Distributed Systems with Redundancy

Pei Peng, Emina Soljanin+1 more|arXiv (Cornell University)|Oct 5, 2020

Distributed and Parallel Computing Systems参考文献 69被引用数 5

ひとこと要約

この論文は、限られたサーバーを備えた分散システムにおける、冗長性による多様性と並列処理のトレードオフを分析し、期待されるジョブ完了時間を最小化する最適戦略を提案する。Erlang、Pareto、およびバイモーダルなサービス時間分布の下で、期待される完了時間の閉形式表現を導出しており、最適な冗長度とコードレートは分布によって顕著に異なることが示され、性能最適化のためには各分布に適合したシステム設計が不可欠であることを明らかにしている。

ABSTRACT

As numerous machine learning and other algorithms increase in complexity and data requirements, distributed computing becomes necessary to satisfy the growing computational and storage demands, because it enables parallel execution of smaller tasks that make up a large computing job. However, random fluctuations in task service times lead to straggling tasks with long execution times. Redundancy, in the form of task replication and erasure coding, provides diversity that allows a job to be completed when only a subset of redundant tasks is executed, thus removing the dependency on the straggling tasks. In situations of constrained resources (here a fixed number of parallel servers), increasing redundancy reduces the available resources for parallelism. In this paper, we characterize the diversity vs. parallelism trade-off and identify the optimal strategy, among replication, coding and splitting, which minimizes the expected job completion time. We consider three common service time distributions and establish three models that describe scaling of these distributions with the task size. We find that different distributions with different scaling models operate optimally at different levels of redundancy, and thus may require very different code rates.

研究の動機と目的

• リソース制約のある分散システムにおける、多様性（冗長性）と並列処理の根本的トレードオフを特定すること。
• 固定されたサーバー制約下で、期待されるジョブ完了時間を最小化する最適な冗長度（すなわちコードレート）を同定すること。
• タスクサイズに応じたサービス時間分布のスケーリングをモデル化し、システム性能の正確な予測を可能にすること。
• 異なる統計的サービス時間モデル下でのリピケーション、符号化、分割戦略の比較を行うこと。

提案手法

• Erlang、Pareto、およびバイモーダルなサービス時間分布の下で、i.i.d. な確率変数として表されるタスク完了時間の期待されるk番目の順序統計量の正確かつ近似式を導出する。
• 順序統計量の理論を用いて、n個のタスクのうちk個が完了すればジョブが完了する場合の期待される完了時間を計算する。
• Paretoモデルにおけるガンマ関数比の漸近的近似を導出するために、スターリングの近似およびガウツヒの不等式を適用する。
• バイモーダル分布のケースを分析するために、d個の異なるコインを収集するまでの期待時間モデルを一般化した誕生日問題フレームワークを導入する。
• Erlangモデルにおいて、生成関数展開の係数を再帰的に計算する手法を開発し、期待される完了時間の効率的計算を可能にする。
• 異なるタスクサイズスケーリングモデルおよびシステムパラメータの下で、解析的結果の妥当性を数値的評価により検証する。

実験結果

リサーチクエスチョン

• RQ1 固定されたサーバー数を持つ分散システムにおいて、期待されるジョブ完了時間を最小化する最適な冗長度（すなわち、冗長タスクの数）は何か？
• RQ2 Erlang、Pareto、およびバイモーダルなサービス時間分布の違いが、多様性と並列処理の最適バランスにどのように影響を与えるか？
• RQ3 サービス時間がタスクサイズにどのようにスケーリングされるかが、最適なコードレートおよびシステム性能に与える影響は何か？
• RQ4 さまざまなサービス時間モデル下で、期待される完了時間の閉形式または取り扱いやすい近似式を導出できるか？
• RQ5 サービス時間分布およびタスクサイズスケーリングの性質に応じて、リピケーションとエラー耐性符号化のどちらの冗長戦略が適しているか？

主な発見

• 最適な冗長度はサービス時間分布によって顕著に異なる：Pareto分布のタスクでは高い冗長度が好ましく、Erlang分布のタスクでは中程度の冗長度が最適である。
• Pareto分布では、大きなnに対して期待される完了時間がn^{1 - 1/α}に比例してスケーリングされることを示しており、これは重尾サービス時間の特性が冗長性の増加によって恩恵を受けることを示している。
• バイモーダルサービスモデルでは、タスクが高速または極めて遅延する場合、最適戦略は遅延するワーカーの確率とタスクサイズに依存し、遅延の可能性が高い場合には高い冗長度が好ましい。
• Erlangモデルでは、順序統計量と母関数を用いた閉形式の期待される完了時間の表現が得られ、性能評価が高精度で可能になる。
• 一般化された誕生日問題の近似は、d個の異なる結果を収集するまでの期待時間の正確な漸近的推定を提供し、これはバイモーダルケースの分析において極めて重要である。
• 本研究では、万能的な冗長戦略は非効率であることが示され、最適なコードレートは特定のサービス時間分布およびタスクサイズスケーリングの挙動に応じて最適化されるべきである。