[論文レビュー] Convergence of multivariate belief propagation, with applications to cuckoo hashing and load balancing

Mathieu Leconte, Marc Lelarge+1 more|arXiv (Cornell University)|Jul 6, 2012

Error Correcting Code Techniques参考文献 28被引用数 7

ひとこと要約

本稿は、一般整数辺容量およびノード容量をもつ大規模なランダムな二部グラフにおける最大重みマッチングのための大数の法則を、上シフトされた尤度比確率的順序の下で単調性を用いて収束を証明する多変量信念伝播（BP）を用いて確立する。主な貢献は、単位容量の仮定を越えて、複数アドレスを持つキーを有するクックー・ハッシュ法およびコンテンツ配信ネットワークにおける負荷分散の分析を可能にする厳密なフレームワークを提供することにある。

ABSTRACT

This paper is motivated by two applications, namely i) generalizations of cuckoo hashing, a computationally simple approach to assigning keys to objects, and ii) load balancing in content distribution networks, where one is interested in determining the impact of content replication on performance. These two problems admit a common abstraction: in both scenarios, performance is characterized by the maximum weight of a generalization of a matching in a bipartite graph, featuring node and edge capacities. Our main result is a law of large numbers characterizing the asymptotic maximum weight matching in the limit of large bipartite random graphs, when the graphs admit a local weak limit that is a tree. This result specializes to the two application scenarios, yielding new results in both contexts. In contrast with previous results, the key novelty is the ability to handle edge capacities with arbitrary integer values. An analysis of belief propagation algorithms (BP) with multivariate belief vectors underlies the proof. In particular, we show convergence of the corresponding BP by exploiting monotonicity of the belief vectors with respect to the so-called upshifted likelihood ratio stochastic order. This auxiliary result can be of independent interest, providing a new set of structural conditions which ensure convergence of BP.

研究の動機と目的

• 任意の整数辺およびノード容量を許容することにより、クックー・ハッシュ法および負荷分散モデルを一般化すること。
• このような容量をもつ大規模なランダムな二部グラフにおける最大重みマッチングのための大数の法則を確立すること。
• 新規な確率的順序条件の下で、多変量メッセージを用いた信念伝播の収束を証明すること。
• キャビティ法および再帰的分布方程式の適用範囲を一般化されたマッチング問題へ拡張すること。
• スカラー・メッセージおよび単位容量にとどまらない文脈においても適用可能なBP収束の構造的条件を提供すること。

提案手法

• ランダム・グラフの局所的弱収束をガルトン＝ワトソン木として極限フレームワークに用いる。
• 辺の割り当て回数の分布を表す信念ベクトルを用いた多変量信念伝播を適用する。
• 信念ベクトルの反復間での単調性を確立するために、上シフトされた尤度比確率的順序を導入する。
• この確率的順序の下で信念ベクトルが単調であることを示すことにより、BPの収束を証明する。
• BPの固定点から再帰的分布方程式（RDE）を導出し、漸近的な最大マッチングサイズを特徴付ける。
• パス数え上げおよび部分グラフ構造解析（例：$K(v)$）を用いて、辺対頂点比が1より大きいスパース・グラフが大きな成分を含むことを示し、マッチングのギャップ低減の議論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 メッセージが多変量であり、辺容量が任意の整数である場合に、信念伝播が厳密に収束することを示せるか？
• RQ2 一般ノードおよび辺容量をもつ大規模なランダムな二部グラフにおける最大重みマッチングの漸近的サイズは何か？
• RQ3 以前の単位容量の仮定に基づくクックー・ハッシュ法および負荷分散に関する先行研究は、どのように一般化されるか？
• RQ4 メッセージ更新の構造的条件として、多変量設定におけるBP収束を保証するものは何か？
• RQ5 非二値の辺変数をもつ一般化されたマッチング問題に対して、キャビティ法を形式化できるか？

主な発見

• 本稿は、一般整数容量をもつ大規模なランダムな二部グラフにおける最大重みマッチングのための大数の法則を、再帰的分布方程式（RDE）を用いて確立した。
• 上シフトされた尤度比確率的順序の下で、多変量信念伝播の収束が証明され、BP収束の新たな一般条件が得られた。
• このフレームワークにより、複数アドレスにマッピングされるキーを有するクックー・ハッシュ法の新たな漸近的結果が得られ、従来の単位容量モデルを一般化した。
• コンテンツ配信ネットワークにおいて、本モデルはコンテンツのレプリケーションおよびサーバ容量が負荷分散性能に与える影響を捉えることができる。
• 解析により、辺対頂点比が1より大きい部分グラフが、高確率で正の割合の頂点を含むことが示され、マッチングアルゴリズムにおけるギャップ低減が可能になる。
• 本手法により、特定のハイパーグラフ除去プロセスの下で、現在のマッチングサイズと最大サイズとのギャップが漸近的に消えることが証明され、高確率でオrientability（向き付け可能性）が成立することが確認された。