[論文レビュー] Finishing Flows Quickly with Preemptive Scheduling

Chi-Yao Hong, Matthew Caesar+1 more|arXiv (Cornell University)|Jun 10, 2012

Cloud Computing and Resource Management被引用数 16

ひとこと要約

PDQは、データセンタでフローフェイルチャームタイムとデッドライン違反を最小限に抑える分散型プリエンプティブなフローサービスプロトコルであり、最短作業優先（SJF）および最短デッドライン優先（EDF）スケジューリングを用いて動的にフローの優先度を制御する。PDQは、TCP、RCP、D 3と比較して平均フローフェイルチャームタイムを最大30％短縮し、デッドライン制約下で3倍の同時送信者をサポートする。

ABSTRACT

Today's data centers face extreme challenges in providing low latency. However, fair sharing, a principle commonly adopted in current congestion control protocols, is far from optimal for satisfying latency requirements. We propose Preemptive Distributed Quick (PDQ) flow scheduling, a protocol designed to complete flows quickly and meet flow deadlines. PDQ enables flow preemption to approximate a range of scheduling disciplines. For example, PDQ can emulate a shortest job first algorithm to give priority to the short flows by pausing the contending flows. PDQ borrows ideas from centralized scheduling disciplines and implements them in a fully distributed manner, making it scalable to today's data centers. Further, we develop a multipath version of PDQ to exploit path diversity. Through extensive packet-level and flow-level simulation, we demonstrate that PDQ significantly outperforms TCP, RCP and D3 in data center environments. We further show that PDQ is stable, resilient to packet loss, and preserves nearly all its performance gains even given inaccurate flow information.

研究の動機と目的

• TCPのようなフェアシェアリングトランスポートプロトコルによる現代のデータセンタにおける悪化するフローフェイルチャームタイムと高いデッドライン違反率を是正すること。
• グローバルな状態情報が不要な分散型でスケーラブルなフローオリティティズーションを可能にすることで、集中型スケジューリングの限界を克服すること。
• プリエンプションをサポートする軽量で分散型のプロトコルを設計し、優先度の高いフローに帯域幅を動的に再割り当てできること。
• 集中型リアルタイムスケジューラと同等の低ラテンシ性能を達成しながら、既存のネットワークインfraに互換性を持つこと。
• 不正確なフローサイズやデッドライン推定値に対しても耐性を示し、現実的なデータセンタワークロード下での性能を評価すること。

提案手法

• スイッチが協調的にフローアクティビティの情報を収集し、中央集権的な制御なしに割り当て意思決定に収束する分散アルゴリズムを実装する。
• スケジューリングメタデータを伝えるために、4つのフィールド（R_H、P_H、D_H、T_H）を備えた変更済みIPヘッダーを用いることで、フロー単位の優先度とプリエンプションシグナルを可能にする。
• アプリケーションがフローデッドラインとサイズを指定できる、または暗黙的に推定できるようにするシャイムレイヤーを導入し、エンドホストへの変更を最小限に抑える。
• 高優先度のフローが低優先度のフローを中断できるようにし、高速なスイッチオーバーとデッドロック防止を実現することで、分散プリエンプションを可能にする。
• フローをサブフローに分割することでマルチパス運用をサポートし、経路の多様性により信頼性とパフォーマンスを向上させる。
• SJFまたはEDF基準に基づき、動的にフローの順序を再編する優先度ベースのスケジューリングエンジンを採用し、上位κフローのパケット処理はO(κ)の複雑度を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全に分散型でプリエンプティブなスケジューリングプロトコルは、TCPのようなフェアシェアリングプロトコルと比較して、データセンターネットワークにおける平均フローフェイルチャームタイムを顕著に短縮できるか？
• RQ2 プリエンプティブスケジューリングは、D 3のような非プリエンプティブアプローチと比較して、ラテンシに敏感なワークロードにおけるデッドライン違反フロー数を削減できるか？
• RQ3 PDQは、不正確または推定されたフローサイズやデッドライン情報下でも性能を維持できるか？また、このような状況下でも性能向上を維持できるか？
• RQ4 マルチパスフローカットにより、PDQベースのスケジューリングにおけるパフォーマンスと信頼性はどの程度向上できるか？
• RQ5 PDQは、既存のデータセンタースイッチ上で、最小限のハードウェアおよびソフトウェア変更で効率的に実装可能か？

主な発見

• PDQは、多様なデータセンタワークロードとトポロジーにおいて、TCP、RCP、D 3と比較して平均フローフェイルチャームタイムを約30％短縮する。
• PDQは、D 3と比較して、デッドラインを守りながら最大3倍の同時送信者をサポートでき、デッドライン制約下での優れたスケーラビリティを示す。
• PDQは、フローサイズやデッドライン推定値が不正確であっても、ほぼすべての性能向上を維持するため、入力の不確実性に対して強い耐性を示す。
• プロトコルはパケットロスに対しても安定しており、現実的なネットワーク環境下でも性能劣化が最小限に抑えられる。
• マルチパス版PDQ（M-PDQ）は、経路の多様性を活用することで、さらなるパフォーマンス向上と信頼性の向上を達成する。
• PDQの分散設計により、上位κフローに対してO(κ)の複雑度でパケット処理が効率的に行えるため、大規模データセンタでスケーラブルかつ実用的である。