[論文レビュー] Expanding across time to deliver bandwidth efficiency and low latency

William M. Mellette, Rajdeep Das+4 more|arXiv (Cornell University)|Mar 29, 2019

Interconnection Networks and Systems参考文献 37被引用数 19

ひとこと要約

Operaは、時間的に変化する拡張グラフを素早く再構成することで、小規模なフローに対して低遅延性能を提供するとともに、長期的には直接的で帯域幅効率の高い経路を提供する、動的で回路スイッチ型のデータセンターネットワークである。シャッフルワークロードでは、コスト同等の静的トポロジーに比べて最大4倍のスループットを達成し、60％高い負荷容量を実現するが、フローフェーズ時間にほとんど影響を与えない。

ABSTRACT

Datacenters need networks that support both low-latency and high-bandwidth packet delivery to meet the stringent requirements of modern applications. We present Opera, a dynamic network that delivers latency-sensitive traffic quickly by relying on multi-hop forwarding in the same way as expander-graph-based approaches, but provides near-optimal bandwidth for bulk flows through direct forwarding over time-varying source-to-destination circuits. The key to Opera's design is the rapid and deterministic reconfiguration of the network, piece-by-piece, such that at any moment in time the network implements an expander graph, yet, integrated across time, the network provides bandwidth-efficient single-hop paths between all racks. We show that Opera supports low-latency traffic with flow completion times comparable to cost-equivalent static topologies, while delivering up to 4x the bandwidth for all-to-all traffic and supporting 60% higher load for published datacenter workloads.

研究の動機と目的

• データセンターネットワークにおける低遅延と高帯域幅の要件の間の根本的トレードオフを解決すること。
• バルクトラフィックのマルチホップ転送による帯域幅税を排除しつつ、小規模なフローの低遅延性能を損なわないこと。
• 遅延に敏感なトラフィックに対して常に低径路接続を維持する再構成可能なネットワークを設計し、長期的には直接的で高帯域幅の経路を提供すること。
• 動的回路スイッチングが、実世界のワークロードにおいて静的トポロジーに比べて帯域幅効率と負荷容量の両面で優れていることを実証すること。

提案手法

• Operaは、定期的な間隔でスイッチのトップオブラック（ToR）スイッチのアップリンクを再構成することで、時間的に変化する拡張グラフの系列を構築する。
• 任意の時点で、ネットワークトポロジーが有効な拡張グラフを形成することを保証し、遅延に敏感なトラフィックの低遅延でマルチホップ転送を可能にする。
• バルクトラフィックは、送信元と受信先の間に長期的に直接的な1ホップ回路が確立された場合にのみバッファされ、転送される。
• すべてのラックペアが定期的に直接リンクで接続されるように、ラック間の回路を決定論的かつ周期的に事前割り当てする。
• 低遅延接続を維持するための動的再構成拡張グラフベースのネットワークを構築するとともに、時間平均による直接経路を統合して帯域幅効率を向上させる。
• ランタイムの回路選択やグローバルなトラフィック監視を避けるために、予測可能で周期的な再構成スケジュールに依存する。

実験結果

リサーチクエスチョン

• RQ1 再構成可能なネットワークは、バルクトラフィックのほぼ理想に近い帯域幅効率を達成しつつ、低遅延性能を維持できるか？
• RQ2 動的トポロジーにおけるマルチホップ転送の帯域幅税と、時間平均的な直接経路の利点を比較すると、どちらが優位か？
• RQ3 決定論的で周期的な再構成スケジュールは、リアルタイムのトラフィック監視を必要とせずに、低遅延と高スループットの両方の性能をサポートできるか？
• RQ4 このようなシステムは、実世界のデータセンターワークロードにおいて、コスト同等の静的トポロジーに比べてどの程度のスループット向上を達成できるか？

主な発見

• シャッフルワークロードにおいて、Operaは、折りたたみClosや拡張グラフといったコスト同等の静的トポロジーに比べて最大4倍のスループットを達成する。
• 公開済みで偏りのあるデータセンターワークロードにおいて、Operaは静的トポロジーに比べて60％高い負荷容量をサポートし、すべてのフローサイズで同等のフローフェーズ時間を維持する。
• Operaは、既存の再構成可能ネットワーク設計で一般的に見られる200–500％の帯域幅税に対して、実効的な帯域幅税をわずか8.4％にまで低減する。
• Operaのルーティングルールセットは、現代のTofino 65x100GEスイッチのメモリ制約に収まり、大規模データセンター（1,200ラック）でも最大85.9％の利用率を達成する。
• 常に拡張グラフトポロジーが有効であることを保証することで、小規模なフローに対する即時のマルチホップ転送が可能となり、低遅延性能が維持される。
• 本アプローチは、さまざまなネットワーク規模、ワークロード、コスト要因の範囲で安定しており、一貫した性能向上を示している。