[论文解读] Mining Network Events using Traceroute Empathy

Marco Di Bartolomeo, Valentino Di Donato+3 more|arXiv (Cornell University)|Dec 12, 2014

Anomaly Detection Techniques and Applications参考文献 24被引用 3

一句话总结

本文提出了一种新颖的、与拓扑无关的方法，利用追踪路由共情（traceroute empathy）——即不同追踪路由之间表现出相似的时间行为——来检测和推断网络事件，如路由变更或故障。通过基于同步路径演化对追踪路由进行聚类，该算法能够以高精度识别出具有影响的事件，仅使用少量IP地址集合即可准确地定位原因，并在真实RIPE Atlas数据上展示了近实时检测效果，且与真实情况相符。

ABSTRACT

In the never-ending quest for tools that enable an ISP to smooth troubleshooting and improve awareness of network behavior, very much effort has been devoted in the collection of data by active and passive measurement at the data plane and at the control plane level. Exploitation of collected data has been mostly focused on anomaly detection and on root-cause analysis. Our objective is somewhat in the middle. We consider traceroutes collected by a network of probes and aim at introducing a practically applicable methodology to quickly spot measurements that are related to high-impact events happened in the network. Such filtering process eases further in- depth human-based analysis, for example with visual tools which are effective only when handling a limited amount of data. We introduce the empathy relation between traceroutes as the cornerstone of our formal characterization of the traceroutes related to a network event. Based on this model, we describe an algorithm that finds traceroutes related to high-impact events in an arbitrary set of measurements. Evidence of the effectiveness of our approach is given by experimental results produced on real-world data.

研究动机与目标

• 解决在缺乏网络拓扑先验知识或探测器同步的情况下，从大规模异步追踪路由数据中检测和诊断网络事件的挑战。
• 克服现有方法（如二值网络层析成像）的局限性，后者依赖完整的拓扑模型和同步测量。
• 开发一种可扩展、鲁棒且可证明正确的算法，通过检测随时间表现出相似演化模式的追踪路由组来识别网络事件。
• 实现在端到端连接受损但单个网络节点仍显示正常的情况下，对路由变更和故障的早期检测。
• 通过报告受影响的观测点以及每个推断事件的最小候选原因IP地址集合，提供可操作的洞察。

提出的方法

• 核心概念是‘共情’——指在路径结构演化方面表现出相似时间行为的追踪路由之间的关系，表明它们受到相同的网络事件影响。
• 该算法通过检测路径结构中的状态转换，并根据时间与结构相似性将这些转换分组为事件，从而处理异步追踪路由数据。
• 应用负载均衡清理启发式方法，以减少由负载均衡引起的路径变化带来的噪声，显著降低误报率和事件数量。
• 该方法采用基于转换的模型来检测追踪路由路径的变化，并通过跨源-目的对的相似转换模式聚类来推断事件。
• 基于受影响的源-目的对数量和事件持续时间计算影响估计值，并通过阈值过滤聚焦于显著事件。
• 该算法设计具有对测量误差的鲁棒性，因为此类误差通常仅产生影响较小、孤立的事件，这些事件会被过滤掉。

实验结果

研究问题

• RQ1 我们能否仅使用异步、非同步的追踪路由测量，在不了解网络拓扑的情况下检测到如路由变更或故障等网络事件？
• RQ2 我们如何定义并检测‘共情’追踪路由——即随时间行为相似、因而可能受相同事件影响的追踪路由？
• RQ3 与真实情况相比，该方法在检测自发性和诱导性路由事件时，能在多大程度上实现高精度和高时效性？
• RQ4 该方法在不依赖复杂预处理的情况下，能否有效减少由负载均衡或测量噪声引起的误报？
• RQ5 该算法能否通过识别最小候选IP地址集合，准确地定位事件的根本原因？

主要发现

• 在某欧洲ISP提供的15天数据集中，该算法检测到199个显著事件，影响了838个唯一的源-目的对，并仅使用7个候选IP地址即准确地定位了原因。
• 在自发故障实验中，影响度超过550的事件在事故发生24小时内被检测到，系统正确识别出该事件为路由故障，后经ISP确认。
• 负载均衡清理启发式方法使转换数量减少了3倍，推断事件数量减少了20倍，显著提升了信噪比。
• 该方法检测到一个未公开的备份对等连接，后经ISP确认，证明其能够发现隐藏的网络配置。
• 事件时间窗口极为精确，持续时间在1秒至10小时之间，标准差为30分钟，这是由于追踪路由采集为异步所致。
• 该算法实现了近实时检测，事件在传播延迟后不久即被识别，并对测量噪声表现出鲁棒性，仅产生影响小、孤立的事件。