[論文レビュー] 007: Democratically Finding The Cause of Packet Drops

Behnaz Arzani, Selim Ciraci+6 more|arXiv (Cornell University)|Feb 20, 2018

Software System Performance and Reliability参考文献 8被引用数 7

ひとこと要約

007 は、再送信パターンを分析し、民主的責任割り当て方式を適用することで、TCP フローにおけるパケット損失の原因となっている特定のネットワークリンクを同定する軽量で常に稼働するネットワーク診断システムである。最小限のオーバーヘッドで高い精度を達成し、一時的および持続的障害の両方を検出可能であり、従来のツールよりも、実際のデータセンターデプロイで以前に発見されていなかった原因を特定する点で優れている。

ABSTRACT

Network failures continue to plague datacenter operators as their symptoms may not have direct correlation with where or why they occur. We introduce 007, a lightweight, always-on diagnosis application that can find problematic links and also pinpoint problems for each TCP connection. 007 is completely contained within the end host. During its two month deployment in a tier-1 datacenter, it detected every problem found by previously deployed monitoring tools while also finding the sources of other problems previously undetected.

研究の動機と目的

• 従来の監視ツールが一時的または静黙的パケット損失を検出できないデータセンターネットワークにおいて、リアルタイムで細粒度の障害局所化を実現するという重要なニーズに対応する。
• アクティブプローブに依存する、インfra変更を要する、またはアプリケーションレベルの文脈を欠いた障害相関ができない既存システムの制限を克服する。
• TCP 再送信への寄与度に基づいて、最も問題の大きいリンクを特定することで、運用者がネットワーク修復を優先順位付けできるようにする。
• スイッチやクライアントを変更せず、インバンドトラフィックとエンドホスト監視のみを用いて、最小限のオーバーヘッドで継続的に動作するシステムを設計する。
• ノイズや一時的な混雑イベントが存在する中でも、高い信頼性で特定のリンクに責任を割り当てるという、実行可能なイン사이트を提供する。

提案手法

• 各再送信セグメントをパケット損失の兆候とみなすことで、TCP 再送イベントを障害の指標として使用する。
• 実際の TCP フローと同じ ECMP ルートに従うように設計された traceroute に類似したメカニズムを用いてルート発見を実施する。
• 複数のフローにわたる再送数に基づいて、各リンクに割り当てられる責任を割合的に決定する。民主的集約モデルを用いる。
• 統計的手法を適用してノイズ（例：孤立したパケット損失）をフィルタリングし、現実の環境下でも責任割り当ての信頼性を向上させる。
• スイッチの制御プレーン負荷を抑えるために、精度とトレードオフとなる戦略的サンプリングを traceroute プローブに適用する。
• 既存の障害特徴付け研究（例：[22]）と統合することで、検出閾値を最適化し、診断の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 インフラ変更なしに、インバンド TCP 再送信のみを用いて、データセンターネットワークにおけるパケット損失を高精度で検出・局所化できるか？
• RQ2 複数のリンクが再送信に寄与する状況下で、個々のリンクに公平かつ正確に責任を割り当てる方法は何か？
• RQ3 スイッチの制御プレーン性能への影響を最小限に抑えながら、高精度な検出を実現するサンプリング戦略は何か？
• RQ4 従来の監視ツール（例：SNMP や定期的プローブ）が見逃す、一時的または静黙的なパケット損失を同定できるか？
• RQ5 数千のリンクと多数のフローを含む大規模データセンターネットワークにおいて、信頼性とスケーラビリティを維持できるか？

主な発見

• 007 は、1つのTier-1データセンターで2か月間の本番環境デプロイにおいて、従来の監視ツールで既に特定済みの障害をすべて検出した。
• 既知の問題に加え、007 は仮想マシンの再起動原因の17％を特定したが、その多くは従来の監視システムでは検出されなかったネットワーク問題に起因していた。
• 0.05％という極めて低い損失率のリンクであっても、高い信頼性で同定できた。これは、微細で持続的な問題への感受性を示している。
• 007 の責任割り当てメカニズムは、孤立したパケット損失や一時的な混雑といったノイズが存在する状況下でも高い正確性を維持した。
• スイッチへのオーバーヘッドは無視できるほど小さく、ネットワークインfra、クライアント、ルーティングプロ rotocol に一切変更を加える必要がなかった。
• 既存の TCP フローを活用し、民主的責任集約を適用することで、優先順位付け可能なリンクレベルの診断を提供し、ネットワーク修復を効率化した。