[論文レビュー] CPU Scheduling in Data Centers Using Asynchronous Finite-Time Distributed Coordination Mechanisms

Andreas Grammenos, Themistoklis Charalambous+1 more|arXiv (Cornell University)|Jan 15, 2021

Distributed and Parallel Computing Systems被引用数 6

ひとこと要約

本稿では、通信遅延を伴っても事前に指定された誤差範囲内で収束するように設計された、非同期的かつ有限時間の分散協調アルゴリズムを提案する。この手法は、強化された比の一致（robust ratio consensus）と最大値一致（max-consensus）を用いて、データセンターにおけるCPUスケジューリングにおいて、ノードが最適かつバランスの取れたワークロード分配に収束することを可能にする。この方法は、有限時間内に収束し、ノード間で同時に終了するのを保証しており、現実のネットワークの不確実性下でも、中央集権的および反復的アプローチに比べてスケーラビリティと応答性に優れる。

ABSTRACT

We propose an asynchronous iterative scheme that allows a set of interconnected nodes to distributively reach an agreement within a pre-specified bound in a finite number of steps. While this scheme could be adopted in a wide variety of applications, we discuss it within the context of task scheduling for data centers. In this context, the algorithm is guaranteed to approximately converge to the optimal scheduling plan, given the available resources, in a finite number of steps. Furthermore, by being asynchronous, the proposed scheme is able to take into account the uncertainty that can be introduced from straggler nodes or communication issues in the form of latency variability while still converging to the target objective. In addition, by using extensive empirical evaluation through simulations we show that the proposed method exhibits state-of-the-art performance.

研究の動機と目的

• 大規模データセンターにおける中央集権的CPUスケジューリングのスケーラビリティと信頼性の課題に対処すること。
• 非同期更新と有界な通信遅延がある中でも有限時間内に収束する分散協調メカニズムを設計すること。
• 反復的計算のノード間での同時終了を可能にしつつ、事前に指定された誤差範囲内で収束を維持すること。
• CPU容量に応じた異種サーバー間で最適なワークロードバランスを実現し、全体の利用度の分散を最小限に抑えること。
• ADMMのような複雑なソルバーに代わるスケーラブルで低オーバーヘッドの代替手段を提供すること、特に動的でリアルタイムなスケジューリングに特化して。

提案手法

• 各ノードが2つの状態変数を維持する分散反復スキームを採用し、その比がグローバル定数に収束する。
• 変動する遅延に対処し、有限時間収束を保証するために非同期的最大値一致（max-consensus）メカニズムを統合する。
• 通信リンクにおける有界な時間変動遅延を計画段階で明示的な入力として取り入れ、ネットワークのジャイターや遅延が大きいノード（straggler）に対して耐性を持つ。
• グローバル最適化問題を局所的目標に分解し、各ノードがローカル情報と近隣ノードとの情報交換のみで最適なワークロード割り当てを計算可能にする。
• 完全な同期ではなく、時計のパーシング（clock pacing）に基づくペーシング機構を実装し、(1 + τ̂)Dイテレーションごとに収束チェックを同期化する。
• 事前に特定された誤差範囲内で有限時間終了を保証し、予測可能で効率的なスケジューリングサイクルを実現する。

実験結果

リサーチクエスチョン

• RQ1 有界な通信遅延下でも、分散的かつ非同期的なアルゴリズムが有限時間収束を達成できるか？
• RQ2 グローバルな調整や時計同期がなくても、分散ノードが最適なワークロード分配に合意に達できるか？
• RQ3 ネットワーク径と遅延の変動性が、分散スケジューリングにおける収束速度と精度に与える影響は何か？
• RQ4 ADMMのような中央集権的または反復的ソルバーに比べて、提案手法が収束速度とリソース効率で優れているか？
• RQ5 実際のデータセンター環境において、遅延が大きいノード（straggler）や動的ワークロード変化に対し、アルゴリズムはどのように対処するか？

主な発見

• 提案手法は、有界な時間変動遅延と非同期更新がある中でも、事前に指定された誤差範囲内で最適なスケジューリング計画に有限時間内に収束する。
• 実験的評価により、収束速度とシステム利用度の点で最先端の性能を示し、中央集権的および反復的アプローチを上回る。
• 完全な同期ではなく、時計のパーシングに基づくペーシング機構により、すべてのノードが同時に終了することが保証される。
• 中程度の直径と高い遅延を持つネットワークにおいて、先行研究の単調性仮定の違反に対しても耐性を示し、反例によってその有効性が実証された。
• 閉形式解の存在により、ADMMや類似ソルバーと比較してより高速な収束が可能であり、特に大規模スケールで顕著な利点を示す。
• マイクログリッド周波数制御や電圧制御など、非同期的かつ有限時間の分散協調を要する他の分野へも一般化可能である。