[论文解读] Detailed Network Measurements Using Sparse Graph Counters: The Theory

Yi Lu, Andrea Montanari+1 more|ArXiv.org|Oct 2, 2007

Internet Traffic Analysis and Secure E-voting参考文献 9被引用 11

一句话总结

本文对一种基于稀疏图的计数器架构——反向编织计数器（counter braids）进行了理论分析，该架构用于高速网络流测量。研究证明，在最大似然（ML）估计算法下，反向编织计数器通过匹配流大小分布的信息论熵下界，实现了最优内存效率，从而在稀疏更新的高速网络中实现精确、低内存的逐流测量，并在大系统极限下达到近似最优的压缩率。

ABSTRACT

Measuring network flow sizes is important for tasks like accounting/billing, network forensics and security. Per-flow accounting is considered hard because it requires that many counters be updated at a very high speed; however, the large fast memories needed for storing the counters are prohibitively expensive. Therefore, current approaches aim to obtain approximate flow counts; that is, to detect large elephant flows and then measure their sizes. Recently the authors and their collaborators have developed [1] a novel method for per-flow traffic measurement that is fast, highly memory efficient and accurate. At the core of this method is a novel counter architecture called "counter braids.'' In this paper, we analyze the performance of the counter braid architecture under a Maximum Likelihood (ML) flow size estimation algorithm and show that it is optimal; that is, the number of bits needed to store the size of a flow matches the entropy lower bound. While the ML algorithm is optimal, it is too complex to implement. In [1] we have developed an easy-to-implement and efficient message passing algorithm for estimating flow sizes.

研究动机与目标

• 在流大小的概率模型下，建立反向编织计数器用于逐流网络流量测量的理论最优性。
• 证明反向编织计数器架构在大系统极限下，其压缩率可匹配流大小分布的熵下界。
• 分析最大似然（ML）估计在从压缩计数器值中恢复流大小时的性能。
• 证明稀疏反向编织计数器可在保持信息论最优性的同时，实现高效且更新次数有界的内存操作。
• 为实际中使用的消息传递算法奠定理论基础，证明其在估计流大小时具有渐近最优性。

提出的方法

• 本文将流大小建模为独立同分布（i.i.d.）的随机变量，并采用信息论框架分析压缩效率。
• 提出一种基于稀疏图的计数器架构，称为“反向编织计数器”，其中每个流的大小通过有向无环图（DAG）结构在多个寄存器中进行编码。
• 该方法采用基于 $ q $-进制数字的分层编码方案，其中每一层 $ l $ 表示流大小在 $ q $ 进制下的一个数位，并对这些数位的熵使用概率界进行分析。
• 理论分析依赖于低密度奇偶校验（LDPC）码理论工具，利用独立同分布源的信道编码与信源编码之间的对偶性。
• 本文证明，存储计数器值所需的比特数在渐近意义上与流大小分布的熵相匹配，使用集中不等式和类型类分析方法。
• 研究建立稀疏编织结构——即每个寄存器仅连接到少量输入流——可实现最优压缩，并支持高效的置信传播解码。

实验结果

研究问题

• RQ1 在概率流大小模型下，反向编织计数器能否实现信息论最优压缩？
• RQ2 从计数器值中恢复流大小的最大似然（ML）估计算法是否能达到熵下界？
• RQ3 反向编织计数器图的稀疏性如何影响内存效率与估计精度之间的权衡？
• RQ4 使用反向编织计数器进行流大小恢复的渐近错误概率是多少？其随系统规模如何变化？
• RQ5 尽管ML解码是NP难问题，消息传递算法能否在估计流大小时实现近似最优性能？

主要发现

• 在大系统极限下，反向编织计数器的压缩率等于流大小分布的熵，证明了其信息论最优性。
• 从计数器值中恢复流大小的最大似然（ML）估计算法被证明是最优的，其内存使用量与熵下界完全匹配。
• 稀疏反向编织计数器——即每个寄存器仅连接到有限数量的流——实现了最优压缩，并支持对高速网络链路的有界更新操作。
• 对于任何超过流大小分布熵的压缩率，流大小恢复的错误概率在大系统极限下趋于零。
• 本文证明，消息传递算法可实现近似最优性能，当设计参数合适时，错误概率随系统规模呈指数衰减。
• 理论框架表明，即使流大小无界，反向编织计数器仍能以匹配熵下界的内存使用量实现流大小压缩。