[論文レビュー] Communication-Aware Scheduling of Serial Tasks for Dispersed Computing

Chien-Sheng Yang, Ramtin Pedarsani+1 more|arXiv (Cornell University)|Apr 17, 2018

Cloud Computing and Resource Management参考文献 41被引用数 5

ひとこと要約

本稿では、タスクがチェーンまたはDAGとしてモデル化され、サーバ間通信遅延を明示的にモデル化する分散コンピューティングネットワーク向けの通信認識スケジューリングフレームワークを提案する。仮想キューイングネットワークを導入してシステム状態を符号化し、フラッドリミットにおけるリャプノフ安定性解析により、Max-Weightスケジューリング方針がスループット最適性を達成することを証明する。

ABSTRACT

There is a growing interest in development of in-network dispersed computing paradigms that leverage the computing capabilities of heterogeneous resources dispersed across the network for processing massive amount of data is collected at the edge of the network. We consider the problem of task scheduling for such networks, in a dynamic setting in which arriving computation jobs are modeled as chains, with nodes representing tasks, and edges representing precedence constraints among tasks. In our proposed model, motivated by significant communication costs in dispersed computing environments, the communication times are taken into account. More specifically, we consider a network where servers are capable of serving all task types, and sending the results of processed tasks from one server to another server results in some communication delay that makes the design of optimal scheduling policy significantly more challenging than classical queueing networks. As the main contributions of the paper, we first characterize the capacity region of the network, then propose a novel virtual queueing network encoding the state of the network. Finally, we propose a Max-Weight type scheduling policy, and considering the virtual queueing network in the fluid limit, we use a Lyapunov argument to show that the policy is throughput-optimal.

研究の動機と目的

• 通信遅延とレイテンシコストの高い分散コンピューティングの課題に対処するため、通信遅延を明示的にモデル化する。
• 非均質な計算および通信リソースを有するネットワークの容量領域を特定する。
• タスク依存関係およびサーバ間データ転送遅延を考慮したスループット最適スケジューリング方策を設計する。
• 論理的依存制約を有する有向無閉路グラフ（DAG）にフレームワークを拡張し、親タスクのデータが子タスクの処理に必要なサーバと同じ場所に配置されることを保証する。
• ブロードキャストベースのDAGスケジューリングを可能にする仮想キューイングネットワークモデルを開発し、データの共所置を保証するとともにスループット最適性を達成する。

提案手法

• タスク処理およびデータルーティング意思決定の状態を符号化する仮想キューイングネットワークとして分散コンピューティングネットワークをモデル化する。
• 仮想キューのバックログの重み付き和を最大化するように行動を選択するMax-Weightスケジューリング方策を導入し、キュー長を重みとして使用する。
• フラッドリミットにおけるリャプノフドリフトの議論を適用し、到着レートが容量領域内にある場合にMax-Weight方策がシステムを安定化することを証明する。
• DAGスケジューリングにおいて、処理済みデータを常にブロードキャストするブロードキャストベースの仮想キューイングモデルを設計し、依存タスクのためのデータ共所置を保証する。
• 仮想ネットワーク内の可能なタスク処理および通信行動を表すために、修正されたサービスレート行列Dと割当ベクトルzを用いる。
• 到着レートが容量領域内にある場合に、フラッドモデルのリャプノフドリフトが負定値であることを示すことで、スループット最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 通信遅延および非均質なサーバーを有する分散コンピューティングネットワークの容量領域は何か？
• RQ2 通信遅延およびタスク依存関係が存在する状況で、スループット最適性を達成するスケジューリング方策をどのように設計できるか？
• RQ3 通信認識スケジューリングがシステム安定性およびジョブ完了レイテンシに与える影響は何か？
• RQ4 ブロードキャストネットワークにおける通信制約下で、DAGワークロードの論理的依存関係をどのように維持できるか？
• RQ5 計算および通信ダイナミクスをモデル化する仮想キューイングネットワークにおいて、Max-Weight方策がスループット最適性を示せるかを証明できるか？

主な発見

• ネットワークの容量領域は、安定なスケジューリング方策が存在するすべての到着レートベクトルの集合として特徴づけられる。
• 提案された仮想キューイングネットワークは、システム状態、特にタスク依存関係およびデータルーティング意思決定を正確に符号化する。
• フラッドリミットにおけるリャプノフドリフトの議論により、Max-Weight方策がスループット最適性を示すことが証明され、容量領域内のすべての到着レートに対してシステムの安定性が保証される。
• DAGワークロードにおいて、ブロードキャストベースの仮想キューイングモデルにより、親タスクからのデータが子タスクの処理に必要な同じサーバに送信され、論理的依存関係の問題が解決される。
• フラッドモデルの解析により、到着レートが容量領域の内部にある場合にリャプノフドリフトが負定値であることが示され、これにより対応するマルコフ連鎖が正再帰的であることが示唆される。
• ブロードキャスト下で一般DAGにフレームワークを拡張した場合、通信および依存関係制約が存在する中でもMax-Weight方策がスループット最適性を維持する。