[論文レビュー] Scalable Tail Latency Estimation for Data Center Networks

Kevin Zhao, Prateesh Goyal+2 more|arXiv (Cornell University)|May 2, 2022

Cloud Computing and Resource Management被引用数 5

ひとこと要約

この論文では、エンドツーエンドのフロー性能を独立したリンクレベルのシミュレーションに分解し、それらを組み合わせてエンドツーエンドの分布を推定することで、大規模なデータセンターネットワークにおけるテール遅延をスケーラブルに推定するためのParsimonを提案する。機械学習を必要とせず、新しい構成に対して再トレーニングを行わず、ns-3に対して492倍の高速化を達成し、テール遅延推定の誤差は9%未満に抑えられる。

ABSTRACT

In this paper, we consider how to provide fast estimates of flow-level tail latency performance for very large scale data center networks. Network tail latency is often a crucial metric for cloud application performance that can be affected by a wide variety of factors, including network load, inter-rack traffic skew, traffic burstiness, flow size distributions, oversubscription, and topology asymmetry. Network simulators such as ns-3 and OMNeT++ can provide accurate answers, but are very hard to parallelize, taking hours or days to answer what if questions for a single configuration at even moderate scale. Recent work with MimicNet has shown how to use machine learning to improve simulation performance, but at a cost of including a long training step per configuration, and with assumptions about workload and topology uniformity that typically do not hold in practice. We address this gap by developing a set of techniques to provide fast performance estimates for large scale networks with general traffic matrices and topologies. A key step is to decompose the problem into a large number of parallel independent single-link simulations; we carefully combine these link-level simulations to produce accurate estimates of end-to-end flow level performance distributions for the entire network. Like MimicNet, we exploit symmetry where possible to gain additional speedups, but without relying on machine learning, so there is no training delay. On large-scale networks where ns-3 takes 11 to 27 hours to simulate five seconds of network behavior, our techniques run in one to two minutes with 99th percentile accuracy within 9% for flow completion times.

研究の動機と目的

• 大規模なデータセンターネットワークにおける従来のパケットレベルネットワークシミュレーション（例：ns-3）のスケーラビリティのボトルネックを解消すること。これは、数秒間の動作をシミュレートするのに数時間もかかることがある。
• 各新しい構成に対して機械学習や再トレーニングを必要とせず、高速で正確かつ一般化可能なフロー単位のテール遅延推定を提供すること。
• ネットワーク運用者によるリアルタイム意思決定を支援すること。具体的には、SLO違反の予測、タスク配置、障害影響の評価などを想定する。
• 各リンクでの混雑の影響を独立して近似することで、集約されたテール遅延性能をモデル化すること。これは、混雑イベントがしばしばリンク間で相関のない場合が多いというアイデアを活用する。

提案手法

• エンドツーエンドのフロー性能を、並列で独立した多数の単一リンクシミュレーションに分解することで、内在する並列性を活用する。
• 異なる負荷下でのフローレベル動作を捉えるために、特別に設計されたリンクレベルシミュレータを用いて、各リンクでの遅延寄与の分布をモデル化する。
• 個々のリンクレベル遅延分布を機械的集約プロセスで組み合わせることで、エンドツーエンドのフロー完了時間（FCT）分布全体を推定する。
• 可能な限りネットワークトポロジーの対称性を活用して計算をさらに高速化するが、機械学習に依存しない。
• 忠実度を確保するため、既存のns-3実装（DCTCP、TIMELY、DCQCN）をリンクレベルシミュレータとして使用する。
• トレーニングステップを回避することで、局所的な混雑ダイナミクスを直接モデル化し、任意のトポロジーやワークロードに対して近似リアルタイムの性能推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 機械学習や再トレーニングに依存せずに、大規模なデータセンターネットワークにおけるエンドツーエンドのテール遅延を近似リアルタイムで推定できるか？
• RQ2 各リンクでの混雑イベントを独立してモデル化することで、フローレベルのテール遅延をどれほど正確に推定できるか？
• RQ3 提案手法は、多様なワークロード、トポロジー、混雑制御プロトコルにおいても正確性を維持するか？
• RQ4 高リンク利用率および異種のトラフィックパターンを持つ大規模なネットワークにもスケーリング可能か？

主な発見

• 384ラック、6,144ホストのデータセンターネットワークにおいて、Parsimonはns-3に対して492倍の高速化を達成し、5秒間のシミュレート時間のシミュレーション時間を1〜2分に短縮した（ns-3では11〜27時間）。
• 高負荷および多様なワークロード下でも、FCT分布のテール部において、ns-3と比較して9%未満の誤差を維持した。
• 小規模および中規模のフローおよび中程度のリンク利用率では予測誤差が最小となり、大規模なフローおよび高利用率ではわずかに誤差が増加するが、依然として許容範囲内に収束している。
• DCTCP、TIMELY、DCQCNといった異なる混雑制御プロトコルにおいても、負荷レベルやリクエストサイズの変化に関わらず一貫した性能を示した。
• Parsimonは、シミュレートされたリンク障害下でも正確に性能を予測でき、運用意思決定支援の有効性を示した。
• トレーニングや再トレーニングが一切不要なため、多様な構成における「仮想的状況」の迅速な評価が可能となった。