[论文解读] Detecting Heavy Hitters in the Data-plane

Belma Turkovic, Jorik Oostenbrink+1 more|arXiv (Cornell University)|Feb 19, 2019

Network Security and Intrusion Detection参考文献 1被引用 7

一句话总结

本文提出了一种基于滑动窗口的实时重流量检测方法，用于P4可编程数据平面，采用一种新颖的门控Sketch（Gated Sketch）数据结构和可调滑动窗口机制，以最小化内存访问次数和误报率。在相同内存条件下，其误报率比Count-Min Sketch降低高达2倍，同时保持高精度和低处理开销，适用于可编程交换机。

ABSTRACT

The ability to detect, in real-time, heavy hitters is beneficial to many network applications, such as DoS and anomaly detection. Through programmable languages as P4, heavy hitter detection can be implemented directly in the data-plane, allowing custom actions to be applied to packets as they are processed at a network node. This enables networks to immediately respond to changes in network traffic in the data-plane itself and allows for different QoS profiles for heavy hitter and non-heavy hitter traffic. Current interval-based methods that flush the whole counting structure are not well-suited for programmable hardware (the data-plane), because they either require more resources than available in that hardware, they do not provide good accuracy, or require too many actions from the control-plane. A sliding window approach that maintains accuracy over time would solve these issues. However, to the best of our knowledge, the concept of sliding windows in programmable hardware has not been studied yet. In this paper, we develop streaming approaches to detect heavy hitters in the data-plane. We consider the problems of (1) adopting a sliding window and (2) identifying heavy hitters separately and propose multiple memory- and processing-efficient solutions for each of them. These solutions are suitable for P4 programmable hardware and can be combined at will to solve the streaming variant of the heavy hitter detection problem.

研究动机与目标

• 解决现有基于区间的重流量检测方法在可编程数据平面中的局限性，这些方法依赖周期性的控制平面刷新，存在高误报率和检测延迟的问题。
• 设计一种内存与处理效率高的解决方案，基于滑动窗口语义实现实时重流量流检测，确保仅追踪最近的流量。
• 开发一种可调优、硬件感知的方法，在保持长期高精度的同时，最小化每包的内存访问次数。
• 克服现有滑动窗口技术与P4硬件约束（如有限内存和严格的每包处理预算）之间的不兼容性。
• 提供多种模块化、可组合的滑动窗口维护与频率估计方案，可组合使用以实现最优性能。

提出的方法

• 提出门控Sketch（Gated Sketch），一种Count-Min Sketch的变体，通过在深度递增时减小表大小，并结合基于阈值的过滤机制，以减少冲突和误报。
• 采用滑动窗口机制，通过顺序刷新或混合窗口技术自动过期旧的包计数，无需控制平面干预。
• 设计滑动窗口逻辑以最小化每包的内存访问次数，确保与100Gbps高速交换机的兼容性。
• 使用一组深度依赖大小和阈值的哈希表，优先准确追踪高流量流，同时早期过滤掉低流量流。
• 通过允许调整内存分配和窗口深度，支持可调优性，以在精度、内存使用和处理开销之间实现平衡。
• 使用CAIDA网络追踪数据评估该方法，并在不同窗口大小和阈值下与Count-Min Sketch及现有滑动窗口方法进行对比。

实验结果

研究问题

• RQ1 能否在P4可编程数据平面中高效实现滑动窗口机制，以在重流量检测中保持实时精度？
• RQ2 在保持低误报率的同时，如何最小化数据平面中的内存使用和处理开销？
• RQ3 在相同内存预算下，门控Sketch相较于标准Count-Min Sketch在减少误报率方面能提升多少？
• RQ4 在硬件受限环境中，窗口大小、阈值设置与检测精度之间的权衡关系如何？
• RQ5 能否设计出无需控制平面干预即可自主运行的滑动窗口机制，从而避免内存刷新不一致的问题？

主要发现

• 在相同内存条件下，门控Sketch相比标准Count-Min Sketch将误报率降低了2倍。
• 采用顺序刷新的滑动窗口方法能长期保持高精度，即使在大窗口尺寸（N = 2^19）下，误报率也低于10%，而周期性刷新的误报率最高可达80%。
• 混合窗口方法在多种CAIDA追踪中实现了95%的置信区间，且误报率极低，展现出在真实流量模式下的鲁棒性。
• 所提出的方案具有可调优性：增加内存分配可提升精度，而不会增加每包的处理时间。
• 该方法支持常数时间点查询，与P4硬件兼容，平均每包仅需一次读/修改/写操作。
• 该方法消除了对控制平面干预以刷新内存的需求，避免了不一致问题，并提升了高速交换机的可扩展性。