[論文レビュー] GCNScheduler: Scheduling Distributed Computing Applications using Graph Convolutional Networks

Mehrdad Kiamari, Bhaskar Krishnamachari|arXiv (Cornell University)|Oct 22, 2021

Advanced Graph Neural Networks参考文献 37被引用数 4

ひとこと要約

GCNSchedulerは、タスクグラフの依存関係とネットワークリソースの特性を統合した統一された入力グラフを用いるグラフ畳み込みネットワーク（GCN）ベースのスケジューラーを提案する。分散システムにおける高速かつスケーラブルなタスクスケジューリングを可能にする。HEFT や TP-HEFT といった最先端のヒューリスティクスと同等のマケイスパンおよびスループット性能を達成するが、スケジューリング時間が数桁から数万倍短い—例：50ノードのグラフでは4ms、HEFT では1500秒。

ABSTRACT

We consider the classical problem of scheduling task graphs corresponding to complex applications on distributed computing systems. A number of heuristics have been previously proposed to optimize task scheduling with respect to metrics such as makespan and throughput. However, they tend to be slow to run, particularly for larger problem instances, limiting their applicability in more dynamic systems. Motivated by the goal of solving these problems more rapidly, we propose, for the first time, a graph convolutional network-based scheduler (GCNScheduler). By carefully integrating an inter-task data dependency structure with network settings into an input graph and feeding it to an appropriate GCN, the GCNScheduler can efficiently schedule tasks of complex applications for a given objective. We evaluate our scheme with baselines through simulations. We show that not only can our scheme quickly and efficiently learn from existing scheduling schemes, but also it can easily be applied to large-scale settings where current scheduling schemes fail to handle. We show that it achieves better makespan than the classic HEFT algorithm, and almost the same throughput as throughput-oriented HEFT (TP-HEFT), while providing several orders of magnitude faster scheduling times in both cases. For example, for makespan minimization, GCNScheduler schedules 50-node task graphs in about 4 milliseconds while HEFT takes more than 1500 seconds; and for throughput maximization, GCNScheduler schedules 100-node task graphs in about 3.3 milliseconds, compared to about 6.9 seconds for TP-HEFT.

研究の動機と目的

• HEFT や TP-HEFT といった従来のヒューリスティクススケジューラーのスケーラビリティの限界を解決する。これらは、計算コストが高いため、大規模なタスクグラフに対しては非現実的になる。
• IoT やエッジクラウドシステムのような動的で頻繁に再スケジューリングが必要な分散環境において、高速かつリアルタイムのスケジューリングを実現する。
• グラフニューラルネットワークを活用し、タスク間の依存関係とネットワークの非均質性を同時にモデル化することで、タスクグラフ内の構造的およびパフォーマンスに配慮した関係を捉える。
• 最適化の品質を損なわず、特にマケイスパン最小化およびスループット最大化という目的において高いスケジューリング効率を達成する。
• 合成的および実世界の認識応用を含む多様なワークロードにわたる一般化を実証し、強靭性と実用性を検証する。

提案手法

• 実行コスト特徴量を持つタスクノード、帯域幅および遅延特徴量を持つ通信エッジ、処理速度特徴量を持つコンピューティングマシンノードを統合した非均質な入力グラフを構築する。
• 空間ベースのグラフ畳み込みネットワーク（GCN）を適用し、メッセージパッシングによる近隣情報の集約を通じてタスク固有のノード埋め込みを生成する。
• ReLU活性化関数と線形変換を用いたマルチレイヤーGCNを用い、入力グラフ表現からタスクからマシンへの割り当てポリシーを学習する。
• HEFT や TP-HEFT が生成する真のスケジュールを教師信号として用いる、教師あり模倣学習によりGCNをエンドツーエンドで訓練する。
• マケイスパン最小化（HEFTの教師信号を用いて）とスループット最大化（TP-HEFTの教師信号を用いて）の2つの目的を最適化し、別々の訓練パイプラインを採用する。
• 各タスクのマシン割り当て確率分布を出力するために、最終的なGCN埋め込みにソフトマックス層を適用し、微分可能かつ効率的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 GCNベースのスケジューラーは、HEFT や TP-HEFT といった古典的ヒューリスティクスと同等のスケジューリング性能を達成しつつ、スケジューリング時間を著しく短縮できるか？
• RQ2 GCNSchedulerは、小規模から大規模なグラフ（例：最大5,000タスク）にわたるさまざまなタスクグラフサイズに対して、どの程度一般化できるか？
• RQ3 GCNSchedulerは、顔認識やジェスチャー認識といった実世界の応用において、高いスループットと低いマケイスパンを維持できるか？
• RQ4 従来のスケジューラーと比較して、GCNSchedulerの推論速度はタスクグラフの複雑さの増加に伴いどのようにスケーリングするか？
• RQ5 GCNモデルはヒューリスティクスベースのスケジューラーから学習でき、再トレーニングなしに未観測のタスクグラフに一般化できるか？

主な発見

• マケイスパン最小化において、GCNSchedulerは50ノードのタスクグラフを約4ミリ秒でスケジューリングする。一方、HEFT は1500秒以上を要するため、375倍の高速化が達成された。
• スループット最大化において、GCNSchedulerは100ノードのタスクグラフを3.3ミリ秒でスケジューリングする。一方、TP-HEFT は6.9秒を要するため、2,100倍の高速化が達成された。
• 大規模な設定（例：3,500〜5,000タスク）では、GCNSchedulerは90ミリ秒未満でスケジューリングを完了するが、TP-HEFT は実行時間が極めて長いため非現実的である。
• 実世界の認識応用（顔認識、ポーズ認識、ジェスチャー認識）において、GCNSchedulerはTP-HEFT よりもわずかに高いスループット性能を達成し、スケジューリング時間が2〜3桁短縮された。
• ベンチマークタスクグラフでは、GCNSchedulerのスケジューリング精度が約95％に達しており、優れた一般化能力と信頼性を示している。
• 実世界の認識ワークロードでは、GCNSchedulerはTP-HEFT が要する87〜290ミリ秒のスケジューリング時間を、0.488〜0.560ミリ秒に短縮し、リアルタイムシステムにおける実用的妥当性を示した。