[论文解读] Convergence of multivariate belief propagation, with applications to cuckoo hashing and load balancing

Mathieu Leconte, Marc Lelarge+1 more|arXiv (Cornell University)|Jul 6, 2012

Error Correcting Code Techniques参考文献 28被引用 7

一句话总结

本论文通过在上移似然比随机序下利用多变量信念传播（BP）并证明其收敛性，建立了具有通用整数边容量和节点容量的大随机二分图中最大权匹配的大数定律。关键贡献在于构建了一个严格的分析框架，使能够超越单位容量假设，对多地址键的布谷鸟哈希（cuckoo hashing）和内容分发网络中的负载均衡进行分析。

ABSTRACT

This paper is motivated by two applications, namely i) generalizations of cuckoo hashing, a computationally simple approach to assigning keys to objects, and ii) load balancing in content distribution networks, where one is interested in determining the impact of content replication on performance. These two problems admit a common abstraction: in both scenarios, performance is characterized by the maximum weight of a generalization of a matching in a bipartite graph, featuring node and edge capacities. Our main result is a law of large numbers characterizing the asymptotic maximum weight matching in the limit of large bipartite random graphs, when the graphs admit a local weak limit that is a tree. This result specializes to the two application scenarios, yielding new results in both contexts. In contrast with previous results, the key novelty is the ability to handle edge capacities with arbitrary integer values. An analysis of belief propagation algorithms (BP) with multivariate belief vectors underlies the proof. In particular, we show convergence of the corresponding BP by exploiting monotonicity of the belief vectors with respect to the so-called upshifted likelihood ratio stochastic order. This auxiliary result can be of independent interest, providing a new set of structural conditions which ensure convergence of BP.

研究动机与目标

• 通过允许任意整数边容量和节点容量，推广布谷鸟哈希和负载均衡模型。
• 建立具有此类容量的大随机二分图中最大权匹配的大数定律。
• 在新型随机序条件下，证明多变量消息信念传播（BP）的收敛性。
• 将腔方法（cavity method）和递归分布方程（RDEs）的应用扩展到广义匹配问题。
• 为BP收敛性提供一种结构条件，该条件适用于非标量消息和非单位容量的情形。

提出的方法

• 使用随机图的局部弱收敛性作为极限框架，收敛于Galton-Watson树。
• 应用多变量信念传播，其中信念向量表示边分配计数的分布。
• 引入上移似然比随机序，以建立信念向量在迭代过程中的单调性。
• 通过证明信念向量在该随机序下具有单调性，从而证明BP的收敛性。
• 从BP的不动点推导出递归分布方程（RDEs），以表征渐近最大匹配大小。
• 利用路径计数和子图结构分析（例如，$K(v)$）证明：边-顶点比大于1的稀疏图包含正密度的顶点连通分量，从而支持间隙缩减论证。

实验结果

研究问题

• RQ1 当消息为多变量且边容量为任意整数时，能否严格证明信念传播（BP）的收敛性？
• RQ2 在具有通用节点和边容量的大随机二分图中，最大权匹配的渐近大小是多少？
• RQ3 这些结果如何推广先前假设边容量为单位容量的布谷鸟哈希和负载均衡工作的成果？
• RQ4 在多变量设置下，何种消息更新的结构条件可保证BP的收敛性？
• RQ5 能否为具有非二值边变量的广义匹配问题形式化腔方法？

主要发现

• 本论文通过递归分布方程（RDEs）建立了具有通用整数容量的大随机二分图中最大权匹配的大数定律。
• 在上移似然比随机序下，证明了多变量信念传播（BP）的收敛性，为BP收敛性提供了新的通用条件。
• 该框架使能够对多地址键布谷鸟哈希实现新的渐近结果，推广了先前基于单位容量的模型。
• 在内容分发网络中，该模型捕捉了内容复制和服务器容量对负载均衡性能的影响。
• 分析表明，边-顶点比大于1的子图以高概率包含正密度的顶点，从而支持匹配算法中的间隙缩减。
• 该方法证明，在特定超图移除过程中，当前匹配大小与最大大小之间的间隙会渐近消失，从而以高概率确认图的可定向性。