[论文解读] Large-Scale Characterization and Segmentation of Internet Path Delays with Infinite HMMs

Maxime Mouchet, Sandrine Vaton+3 more|arXiv (Cornell University)|Oct 28, 2019

Complex Network Analysis Techniques参考文献 38被引用 11

一句话总结

本文提出了一种无限隐马尔可夫模型（HDP-HMM），用于对互联网路径延迟轨迹实现自动、可扩展的分割与表征。通过利用非参数贝叶斯推断，该模型能够动态推断隐藏状态的数量，在RIPE Atlas和CAIDA MANIC数据的RTT时间序列中，实现了与人工判断相当的准确度，可识别重复模式与异常，并通过公开的Web API实现部署。

ABSTRACT

Round-Trip Times are one of the most commonly collected performance metrics in computer networks. Measurement platforms such as RIPE Atlas provide researchers and network operators with an unprecedented amount of historical Internet delay measurements. It would be very useful to automate the processing of these measurements (statistical characterization of paths performance, change detection, recognition of recurring patterns, etc.). Humans are pretty good at finding patterns in network measurements but it can be difficult to automate this to enable many time series being processed at the same time. In this article we introduce a new model, the HDP-HMM or infinite hidden Markov model, whose performance in trace segmentation is very close to human cognition. This is obtained at the cost of a greater complexity and the ambition of this article is to make the theory accessible to network monitoring and management researchers. We demonstrate that this model provides very accurate results on a labeled dataset and on RIPE Atlas and CAIDA MANIC data. This method has been implemented in Atlas and we introduce the publicly accessible Web API.

研究动机与目标

• 自动化表征与分割大规模互联网路径延迟轨迹，减少对人工分析的依赖。
• 通过非参数贝叶斯方法解决标准HMM中隐藏状态数量最优选择的挑战。
• 开发一种可扩展、全自动的方法，用于检测不同网络路径上RTT时间序列中的异常与重复模式。
• 在真实世界数据集（RIPE Atlas与CAIDA MANIC）上验证HDP-HMM模型，并与人工标注的切换点进行性能对比。
• 通过公开Web API实现并发布该模型，以便集成到网络监控与管理系统中。

提出的方法

• HDP-HMM采用分层狄利克雷过程先验，允许潜在隐藏状态数量无限，实际状态数量由数据自动推断。
• 模型使用Gibbs采样进行后验推断，实现无需预先指定状态数量的自动状态发现。
• 将RTT时间序列建模为一系列潜在状态，每个状态具有不同的延迟分布（如正态分布），并通过状态转移概率捕捉时间动态。
• 该方法应用于RIPE Atlas的10万条一周时长的RTT轨迹，通过与合成数据的模型似然比较验证拟合效果。
• 实现了一个Web API以暴露HDP-HMM的分割服务，支持对RTT测量值的实时或批量处理。
• 通过标注的切换点数据集对方法进行验证，并与经典变化检测方法进行比较。

实验结果

研究问题

• RQ1 无限HMM模型是否能在识别RTT时间序列中模式与异常方面达到与人类专家相当的分割准确度？
• RQ2 与从同一模型生成的合成数据相比，HDP-HMM模型在真实世界互联网延迟轨迹上的拟合程度如何？
• RQ3 HDP-HMM能否在无需预先指定的情况下自动推断延迟时间序列中的隐藏状态数量？
• RQ4 HDP-HMM在检测真实网络事件（如BGP中断或DNS服务器突增）方面表现如何？
• RQ5 HDP-HMM在大规模测量基础设施（如RIPE Atlas）中，其可扩展性与实际部署能力如何？

主要发现

• 在切换点标注数据集上验证后，HDP-HMM模型在分析RTT时间序列时的分割准确度与人类专家相当。
• 模型在真实RIPE Atlas轨迹上的似然值与从同一模型生成的合成数据非常接近，证实了在10万条时间序列上的强大统计拟合能力。
• 该模型成功检测到2018年4月DE-CIX法兰克福的两次重大BGP中断事件，其状态转移突增与实际网络中断完全对齐。
• 该模型识别出影响多个AS的DNS根服务器突增事件，展示了其从RTT数据中检测基础设施级事件的能力。
• 在标注数据上，HDP-HMM优于经典变化点检测方法，并为网络管理任务提供了可解释、可说明的参数。
• 该方法已在RIPE Atlas生产环境中成功部署，配套提供公开Web API与可交互笔记本，供社区使用。