[论文解读] A New Impossibility Result for Online Bipartite Matching Problems

Josef Kanizo, David Hay+2 more|arXiv (Cornell University)|Jul 12, 2010

Algorithms and Data Compression参考文献 42被引用 2

一句话总结

本文提出了一种针对随机二分图中最大匹配大小的精确解析模型，该模型适用于带有补丁的双哈希查找（two-choice hashing），并可直接应用于补丁式布谷鸟哈希（cuckoo hashing with a stash）。通过将图分解为连通分量并运用集中不等式，该研究推导出在负载高于 0.5 时所需补丁大小的紧致边界，表明最大匹配大小在其均值附近高度集中，且渐近结果与Lambert-W函数相关联。

ABSTRACT

Cuckoo hashing with a stash is a robust multiple choice hashing scheme with high memory utilization that can be used in many network device applications. Unfortunately, for memory loads beyond 0.5, little is known on its performance. In this paper, we analyze its average performance over such loads. We tackle this problem by recasting the problem as an analysis of the expected maximum matching size of a given random bipartite graph. We provide exact results for any finite system, and also deduce asymptotic results as the memory size increases. We further consider other variants of this problem, and finally evaluate the performance of our models on Internet backbone traces. More generally, our results give a tight lower bound on the size of the stash needed for any multiple-choice hashing scheme.

研究动机与目标

• 分析当内存负载超过 0.5 时补丁式布谷鸟哈希的性能，此时补丁大小的理论理解尚不充分。
• 建立由元素与桶通过两个哈希函数构成的随机二分图中最大匹配期望大小的模型。
• 推导有限系统与大系统中最大匹配期望大小的精确表达式与渐近表达式。
• 为任意多路选择哈希方案提供补丁大小的紧致下界。
• 通过真实互联网骨干网追踪数据与仿真验证该模型。

提出的方法

• 将布谷鸟哈希问题建模为在每个左端点（元素）连接至两个随机右端点（桶）的随机二分图中寻找最大匹配。
• 将图分解为连通分量，并计算每个分量的局部最大匹配大小。
• 使用 Doob 的鞅方法与 Azuma 不等式，证明实际最大匹配大小在其期望值附近高度集中。
• 通过分量级分析与组合计数，推导出最大匹配期望大小的精确表达式。
• 建立系统规模增大时的渐近结果，将结果与 Lambert-W 函数关联。
• 通过不同负载 α 与分割比例 β 的仿真，以及使用 64 位哈希的实互联网骨干网追踪数据，验证模型。

实验结果

研究问题

• RQ1 对于任意有限系统规模，每个左端点通过两条随机边连接至右端点的随机二分图中，最大匹配的精确期望大小是多少？
• RQ2 当系统规模趋于无穷大时，最大匹配的期望大小如何渐近表现，特别是当负载高于 0.5 时？
• RQ3 当负载超过 0.5 时，为确保所有元素以高概率插入，所需的补丁大小是多少？
• RQ4 将内存划分为两部分对最大匹配大小与补丁需求有何影响？
• RQ5 该理论模型在真实互联网骨干网追踪数据上的表现与实际性能匹配程度如何？

主要发现

• 在每个元素具有两个选择的随机二分图中，最大匹配的期望大小对于任意有限系统规模均可精确表示为闭式表达。
• 实际最大匹配大小在其期望值附近高度集中，使得可通过集中不等式实现可靠的补丁大小估算。
• 当负载 α = 1 时，归一化后的最大匹配期望大小对 d=3 上限为 0.9508，对 d=4 上限为 0.9820，仿真结果与这些边界高度吻合。
• 该模型在真实互联网骨干网追踪数据上准确预测性能，实验均值与置信区间与理论预测高度一致。
• 为处理负载高于 0.5 的情况，所需补丁大小被紧密限定为 n 与最大匹配期望大小之差，为多路选择哈希方案提供了通用下界。
• 随着系统规模增大，最大匹配大小的渐近行为收敛于一个涉及 Lambert-W 函数的函数，提供了精确的解析极限。