[论文解读] 007: Democratically Finding The Cause of Packet Drops

Behnaz Arzani, Selim Ciraci+6 more|arXiv (Cornell University)|Feb 20, 2018

Software System Performance and Reliability参考文献 8被引用 7

一句话总结

007 是一种轻量级、持续运行的网络诊断系统，通过分析重传模式并应用民主化责任分配机制，识别 TCP 流中导致分组丢失的具体网络链路。该系统以极低开销实现高精度，能够检测瞬态和持久性故障，并在真实数据中心部署中揭示了以往未被发现的网络问题成因，优于现有工具。

ABSTRACT

Network failures continue to plague datacenter operators as their symptoms may not have direct correlation with where or why they occur. We introduce 007, a lightweight, always-on diagnosis application that can find problematic links and also pinpoint problems for each TCP connection. 007 is completely contained within the end host. During its two month deployment in a tier-1 datacenter, it detected every problem found by previously deployed monitoring tools while also finding the sources of other problems previously undetected.

研究动机与目标

• 解决数据中心网络中实时、细粒度故障定位的关键需求，传统监控工具无法检测瞬态或无声的分组丢失。
• 克服现有系统依赖主动探测、需要基础设施变更或缺乏应用层上下文以关联故障的局限性。
• 通过识别对 TCP 重传贡献最大的链路，使运维人员能够优先修复网络问题。
• 设计一种持续运行、开销极低的系统，仅使用带内流量和端主机监控，无需修改交换机或客户端。
• 通过高置信度将责任分配给特定链路，提供可操作的洞察，即使在存在噪声和短暂拥塞事件的情况下也能保持可靠性。

提出的方法

• 将 TCP 重传事件作为故障指示器，将每个重传段视为潜在分组丢失的证据。
• 通过精心设计的类似 traceroute 的机制执行路径发现，确保探测包与实际 TCP 流遵循相同的 ECMP 路径。
• 基于观察到的重传次数，按比例将责任分配给流路径上的每个链路，采用跨多个流的民主聚合模型。
• 应用统计技术过滤噪声（例如孤立的分组丢失），以提升在真实环境条件下的责任分配可靠性。
• 战略性地采样 traceroute 探测包，以在准确性和交换机控制平面开销之间取得平衡，避免控制平面过载。
• 与先前的故障特征分析研究（例如 [22]）集成，以优化检测阈值并提高诊断置信度。

实验结果

研究问题

• RQ1 能否仅使用带内 TCP 重传且无需基础设施变更，高精度检测和定位数据中心网络中的分组丢失？
• RQ2 当多个链路可能共同导致重传时，如何公平且准确地将责任分配给路径中的单个链路？
• RQ3 何种采样策略可确保高检测精度，同时最小化对交换机控制平面性能的影响？
• RQ4 此类系统能否检测到传统监控工具（如 SNMP 或周期性探测）所遗漏的瞬态或无声分组丢失？
• RQ5 在拥有成千上万个链路和高流量流数量的大规模数据中心网络中，系统如何保持可靠性和可扩展性？

主要发现

• 在一家一级数据中心为期两个月的生产部署中，007 检测到了所有现有监控工具先前识别出的故障。
• 除已知问题外，007 还揭示了 17% 的虚拟机重启的根本原因——其中许多是此前监控系统未能检测到的网络问题。
• 该系统能够以高置信度识别出丢包率低至 0.05% 的链路，证明其对细微、持续性问题具有高度敏感性。
• 即使在存在噪声（如孤立的分组丢失或短暂拥塞）的情况下，007 的责任分配机制仍保持高精度。
• 该系统对交换机造成的开销可忽略不计，且无需对网络基础设施、客户端或路由协议进行任何修改。
• 通过利用现有 TCP 流并应用民主化责任聚合，007 提供了可操作的、链路级别的诊断信息，使网络修复工作得以优先处理。