[論文レビュー] Low latency via redundancy

Ashish Vulimiri, P. Brighten Godfrey+4 more|arXiv (Cornell University)|Jun 16, 2013

Caching and Content Delivery参考文献 19被引用数 76

ひとこと要約

この論文は、ネットワークシステムにおける平均遅延および尾遅延を低減する一般化された技術として、リソースを多様に分散して複数回同じ操作を実行し、最初に完了した結果を採用する冗長性の使用を提案する。システムの利用度が50%未満の場合、冗長性は最小限のコストで著しく遅延を改善することを示しており、DNS、データベース、ネットワーク転送において実証的に検証された。その結果、尾遅延は最大50倍まで短縮された。

ABSTRACT

Low latency is critical for interactive networked applications. But while we know how to scale systems to increase capacity, reducing latency --- especially the tail of the latency distribution --- can be much more difficult. In this paper, we argue that the use of redundancy is an effective way to convert extra capacity into reduced latency. By initiating redundant operations across diverse resources and using the first result which completes, redundancy improves a system's latency even under exceptional conditions. We study the tradeoff with added system utilization, characterizing the situations in which replicating all tasks reduces mean latency. We then demonstrate empirically that replicating all operations can result in significant mean and tail latency reduction in real-world systems including DNS queries, database servers, and packet forwarding within networks.

研究の動機と目的

• 冗長性がシステム利用度の増加にもかかわらず、いつ遅延を改善するかを理解すること。
• 冗長システムにおける遅延低減とリソースコストのトレードオフを特定すること。
• DNS、データベース、パケット転送のような実世界のシステムにおける冗長性の実証的検証を行うこと。
• 冗長性が費用対効果が良く、広く適用可能な状況を同定すること。
• ネットワークシステムにおける一般化された低遅延技術として、冗長性の広範な採用を提唱すること。

提案手法

• システム利用度とサービス時間分布を関数として期待応答時間を分析するためのキューイングモデルを構築する。
• さまざまなサービス時間分布と負荷レベルにおける冗長性の影響を評価するために、シミュレーションを実施する。
• DNSクエリ、データベース操作、TCP接続確立などの実システムにおける遅延低減を実測する。
• 複数のDNSサーバーに冗長クエリを送信し、単一クエリと比較して尾遅延の改善を測定する。
• 追加のトラフィックまたは帯域幅あたりの遅延削減量を比較することで、費用対効果を分析する。
• 広域ネットワークおよびデータセンタ環境における冗長性の評価を実施し、経路の多様性がある場合とない場合の両方を含む。

実験結果

リサーチクエスチョン

• RQ1 リソース使用量が2倍に増加するにもかかわらず、システム利用度がどの程度の条件下で冗長性が平均遅延および尾遅延を低減するのか。
• RQ2 サービス時間分布が、遅延低減における冗長性の有効性にどのように影響するか。
• RQ3 遅延低減を最大化しつつ、費用対効果を維持できる最適な冗長クエリ数は何か。
• RQ4 どの実世界のシステムで冗長性が測定可能なパフォーマンス向上をもたらすか。
• RQ5 プリフェッチやキャッシュなどの他の遅延低減技術と比較して、冗長性はどのように異なるか。

主な発見

• 単一クエリと比較して、500 msを超えるDNS応答の割合は6.5倍、1.5秒を超える応答の割合は50倍まで低下した。
• システム利用度が50%未満の場合、サービス時間分布にかかわらず、冗長性は常に平均遅延を低減する。
• 冗長性が有効である閾値は、25%から50%の利用度の間であり、サービス時間の分散が大きくなるにつれて50%に近づく。
• TCP SYNパケットのリプリケーションにより、平均遅延が約170 ms、尾遅延が約880 ms短縮された。
• クライアントのコストがDSLベースの場合、冗長性の費用対効果は、ブレーキーレンスの閾値よりも100倍以上優れていた。
• システム利用度が2倍に増加する状況でも、冗長性は広範なシステムにおいて、ネットでプラスの影響をもたらした。