[论文解读] Detecting Flow Anomalies in Distributed Systems

Freddy Chong Tat Chua, Ee‐Peng Lim+1 more|arXiv (Cornell University)|Jan 1, 2014

Network Security and Intrusion Detection被引用 1

一句话总结

本文提出了一种非侵入式、基于边的网络传输模型，仅使用实体流的粗粒度起始和结束时间数据，即可检测并定位分布式系统中的流异常。通过推断预期传输时间并识别显著偏差，该方法在异常位置排序方面优于基于标准差的统计方法，其有效性通过公共交通数据得到验证，并与社交媒体报告的服务中断情况相关联。

ABSTRACT

Deep within the networks of distributed systems, one often finds anomalies that affect their efficiency and performance. These anomalies are difficult to detect because the distributed systems may not have sufficient sensors to monitor the flow of traffic within the interconnected nodes of the networks. Without early detection and making corrections, these anomalies may aggravate over time and could possibly cause disastrous outcomes in the system in the unforeseeable future. Using only coarse-grained information from the two end points of network flows, we propose a network transmission model and a localization algorithm, to detect the location of anomalies and rank them using a proposed metric within distributed systems. We evaluate our approach on passengers' records of an urbanized city's public transportation system and correlate our findings with passengers' postings on social media microblogs. Our experiments show that the metric derived using our localization algorithm gives a better ranking of anomalies as compared to standard deviation measures from statistical models. Our case studies also demonstrate that transportation events reported in social media microblogs matches the locations of our detect anomalies, suggesting that our algorithm performs well in locating the anomalies within distributed systems.

研究动机与目标

• 检测分布式系统中导致性能下降但不会立即引发故障的非关键异常。
• 在仅获得源节点和目的节点的粗粒度时间数据时，定位流异常的源头。
• 开发一种模型，推断预期流经时间并识别与预期存在显著偏差的网络段。
• 使用现实世界公共交通数据及社交媒体报告，验证异常检测与定位方法的有效性。
• 证明社交媒体的微博发布可作为验证检测到的异常的基准真实数据。

提出的方法

• 利用实体流记录中的空间、时间与成本数据，形式化异常检测问题。
• 构建基于边的网络传输模型，根据观测到的起始与结束时间推断预期流经时间。
• 应用一种定位算法，根据记录中时间偏差较大的程度对网络段进行排序。
• 使用“包含”和“在……之内”的关系度量指标，识别与异常高度相关的记录，优先选择路径短且连通性高的记录。
• 采用基于传递性的优化方法，降低关系计数的计算成本。
• 使用高斯混合模型对边速度进行建模，以反映高峰与非高峰时段的交通模式，提升准确性。

实验结果

研究问题

• RQ1 是否可以仅使用起止时间数据，而无需内部传感器数据，检测分布式系统中的流异常？
• RQ2 当缺乏详细路径和分段级数据时，如何定位异常的位置？
• RQ3 所提出的方法是否在异常位置排序方面优于标准差等标准统计度量？
• RQ4 社交媒体报告的服务中断情况与算法检测到的异常在多大程度上相关？
• RQ5 即使路径信息不完整，模型是否仍能推断预期流经时间并检测偏差？

主要发现

• 所提出的定位算法在异常排序方面优于基于标准差的统计模型。
• 即使仅提供粗粒度时间数据，该算法仍能成功识别存在显著流经偏差的网络段。
• 时间偏差大且关系连通性强的记录更可能指向网络中实际的异常位置。
• 提及如“MRT故障”等公共交通中断的社交媒体微博，与检测到的异常位置一致，提供了外部验证。
• 该方法在高峰时段与实时乘客投诉之间表现出强烈的相关性，尤其在高峰时段。
• 当通过高斯混合分布对边速度建模以纳入高峰/非高峰时段交通模式时，模型性能得到提升。