[论文解读] Compressing IP Forwarding Tables: Towards Entropy Bounds and Beyond

Gábor Rétvári, János Tapolcai+3 more|arXiv (Cornell University)|Feb 5, 2014

Network Packet Processing and Optimization参考文献 56被引用 71

一句话总结

本文提出了一种新颖的熵压缩数据结构，用于IP转发表（FIBs），结合先进的压缩数据结构与Trie折叠技术，在仅付出极小性能代价的情况下，实现了信息论上的压缩极限。该方法将超过44万个前缀的FIB大小压缩至100–400 KB，同时将查找吞吐量提升3倍，并实现了高效的更新操作而无需牺牲速度。

ABSTRACT

Lately, there has been an upsurge of interest in compressed data structures, aiming to pack ever larger quantities of information into constrained memory without sacrificing the efficiency of standard operations, like random access, search, or update. The main goal of this paper is to demonstrate how data compression can benefit the networking community, by showing how to squeeze the IP Forwarding Information Base (FIB), the giant table consulted by IP routers to make forwarding decisions, into information-theoretical entropy bounds, with essentially zero cost on longest prefix match and FIB update. First, we adopt the state-of-the-art in compressed data structures, yielding a static entropy-compressed FIB representation with asymptotically optimal lookup. Then, we re-design the venerable prefix tree, used commonly for IP lookup for at least 20 years in IP routers, to also admit entropy bounds and support lookup in optimal time and update in nearly optimal time. Evaluations on a Linux kernel prototype indicate that our compressors encode a FIB comprising more than 440K prefixes to just about 100--400 KBytes of memory, with a threefold increase in lookup throughput and no penalty on FIB updates. This technical report contains a number of important corrections and revisions to the original manuscript.

研究动机与目标

• 解决由于IPv4前缀数量激增，导致路由器中IP转发表（FIBs）内存占用持续增长的问题。
• 证明压缩数据结构可在不降低查找或更新性能的前提下，实现FIB的信息论熵压缩极限。
• 提出一种新型压缩FIB表示方法，支持最优查找时间与近乎最优的更新时间。
• 推广压缩数据结构在计算机网络中的应用，特别是在路由器等大规模、内存受限系统中的应用。
• 为将熵压缩边界应用于其他网络数据结构（如BGP RIBs、MAC表和标签转发表）奠定基础。

提出的方法

• 采用最先进的压缩数据结构，以熵最优空间表示FIB，实现快速随机访问与查找。
• 重新设计传统前缀树（Trie），通过将公共的带标签子树折叠为有向无环图（DAG），以支持熵压缩边界。
• 采用基于位图的压缩表示方法（XBW-b），受简洁数据结构启发，以紧凑方式编码FIB，同时保持高效的查询性能。
• 引入标签感知的子树合并机制，在压缩过程中保持最长前缀匹配语义的正确性。
• 利用IP前缀的结构特性，将前缀树折叠为DAG，减少冗余与存储开销，同时保持O(W)的查找时间。
• 在Linux内核原型中实现并评估该方法，以验证其在真实环境下的性能与内存节省效果。

实验结果

研究问题

• RQ1 在保持快速查找与更新性能的前提下，IP转发表能否被压缩至信息论熵压缩极限？
• RQ2 在智能数据结构设计下，IP前缀的结构特性在多大程度上可被利用以减少FIB的存储开销？
• RQ3 与传统FIB压缩方案相比，所提出的Trie折叠技术在空间、速度与更新效率方面表现如何？
• RQ4 压缩数据结构能否在真实网络工作负载（如IP路由）中有效应用，且性能损失极小？
• RQ5 熵压缩边界数据结构在FIB之外的其他网络数据结构中，具有怎样的理论与实际潜力？

主要发现

• 所提出的XBW-b压缩器将超过44万个前缀的FIB大小压缩至仅100–400 KB，显著低于以往780 KB至1.2 MB的范围。
• 在Linux内核原型中，尽管内存占用减少，查找吞吐量仍提升了三倍。
• FIB更新操作未引入性能开销，由于基于DAG的高效结构，更新时间保持近乎最优。
• 该方法实现了渐近最优的查找时间与存储空间，接近FIB数据的信息论熵极限。
• 该方法可扩展至其他网络数据结构，如BGP RIBs、OpenFlow表与MAC学习表。
• 本工作表明，通过压缩实现的空间缩减不会导致性能损失——相反，还能提升缓存效率与运行速度。