[论文解读] Hierarchical Heavy Hitters with the Space Saving Algorithm

Michael Mitzenmacher, Thomas Steinke+1 more|arXiv (Cornell University)|Feb 27, 2011

Network Security and Intrusion Detection参考文献 13被引用 10

一句话总结

本文提出了一种新颖且简化的流式算法用于分层重热点（Hierarchical Heavy Hitters, HHHs），以 Space Saving 算法作为子程序，相较于先前方法在保持强大理论保证的同时，实现了更优的处理速度与更高的准确性。该方法能高效处理一维与二维层次结构，减少每次更新的 TCAM 操作次数，并在真实网络监控工作负载中展现出优于现有算法的性能与实用性。

ABSTRACT

The Hierarchical Heavy Hitters problem extends the notion of frequent items to data arranged in a hierarchy. This problem has applications to network traffic monitoring, anomaly detection, and DDoS detection. We present a new streaming approximation algorithm for computing Hierarchical Heavy Hitters that has several advantages over previous algorithms. It improves on the worst-case time and space bounds of earlier algorithms, is conceptually simple and substantially easier to implement, offers improved accuracy guarantees, is easily adopted to a distributed or parallel setting, and can be efficiently implemented in commodity hardware such as ternary content addressable memory (TCAMs). We present experimental results showing that for parameters of primary practical interest, our two-dimensional algorithm is superior to existing algorithms in terms of speed and accuracy, and competitive in terms of space, while our one-dimensional algorithm is also superior in terms of speed and accuracy for a more limited range of parameters.

研究动机与目标

• 解决现有分层重热点（HHHs）流式算法的局限性，这些算法通常复杂、速度慢或缺乏强有力的理论保证。
• 开发一种方法，在保持高准确率与低空间使用率的同时，实现简单易部署，适用于路由器和 TCAM 等真实系统。
• 通过提供更优的最坏情况时间与空间复杂度、更高的准确性，并支持分布式与并行执行，改进先前算法。
• 通过真实数据包追踪实验，证明其在实际应用中的优越性，展示更快的处理速度与更低的 TCAM 操作次数。

提出的方法

• 该算法以 Space Saving 算法为核心子程序，用于在分层数据结构中维护项目近似频率计数。
• 通过基于预定义格结构向父节点传播更新，将 Space Saving 扩展以支持分层聚合。
• 在一维 HHH 中，算法在层次的每一级维护一个 Space Saving 实例；在二维 HHH 中，算法在源与目标维度上维护多个实例。
• 通过要求仅当其子节点频率之和超过阈值时才将节点报告为重热点，确保算法正确性，防止后代导致的误报。
• 设计为 TCAM 友好，通过利用高层节点中频率分布的非均匀性，最小化每次数据包的 TCAM 操作次数。
• 实现支持单位更新（仅计数）与加权更新，其性能与阈值参数 φ 无关。

实验结果

研究问题

• RQ1 更简单的算法是否能在保持强大理论误差界的同时，实现优于现有复杂 HHH 算法的性能？
• RQ2 在真实网络流量数据上，所提算法与先前方法相比，在速度、准确率与内存使用方面表现如何？
• RQ3 Space Saving 算法在多维分层数据上可扩展到何种程度，并能提供可证明的保证？
• RQ4 该算法能否在通用硬件（如 TCAM）上高效实现？其 TCAM 操作次数与先前工作相比如何？

主要发现

• 在一维场景中，当 ε = 0.1 时，所提的 'unitary' 算法每秒处理 220 万个数据包，优于部分（130 万）与完整（140 万）算法。
• 在二维场景中，当 ε = 0.1 时，'hhh' 算法每秒处理 30 万个更新，比部分（7.1 万）与完整（10 万）算法快三倍以上。
• 所提算法的相对误差始终低于所有竞争者，而部分祖先算法常达到理论上限 1。
• TCAM 模拟显示，一维场景下每数据包平均 14 次操作（每 Space Saving 实例 2.8 次），二维场景下每数据包平均 65 次操作（每实例 2.6 次），优于先前实现中每更新高达 4 次操作的水平。
• 该算法的运行时间与内存使用与阈值 φ 无关，因为 φ 仅影响输出阶段，而该阶段在实际中可忽略不计。
• 该算法保持了强大的理论保证，并因其实现简单、可并行化及硬件高效，比先前方法更具实用性。