[论文解读] Max Product for Max-Weight Independent Set and Matching

Devavrat Shah|arXiv (Cornell University)|Aug 23, 2005

Error Correcting Code Techniques参考文献 31被引用 6

一句话总结

本文分析了在稀疏随机图 G(n, c/n) 和 Gr(n) 上求解最大权独立集（MWIS）与最大权匹配（MWM）问题的极大似然（Max Product, MP）算法。当边或节点权重服从指数分布时，证明了MP在广泛参数范围内以高概率收敛并找到最优解，且在大n时以至少1−ǫ的概率达到1+ǫ的竞争力。

ABSTRACT

The Max Product (MP) is a local, iterative, message passing style algorithm that has been developed for finding the maximum a posteriori (MAP) assignment of discrete probability distribution specified by a graphical model. The scope of application of MP is vast and in particular it can serve as a heuristic to solve any combinatorial optimization problem. Despite the success of MP algorithm in the context of coding and vision, not much has been theoretically understood about the correctness and convergence of MP. The Maximum Weight Independent Set (MWIS) and Maximum Weight Matching (MWM) are classically well studied combinatorial optimization problems. A lot of work has been done to design efficient algorithms for finding MWIS and MWM. In this paper, we study application of MP algorithm for MWIS and MWM for sparse random graphs: G(n, c/n) and Gr(n), which are n node random graphs with parameter c and r respectively. We show that when weights (node or edge depending on MWIS or MWM) are assigned independently according to exponential distribution, the MP algorithm converges and finds correct solution for a large range of parametric value c and r. In particular, we show that for any ǫ> 0, for large enough n, the MP becomes 1 + ǫ competitive with probability at least 1 − ǫ. Our results build upon the results of Gamarnik, Nowicki and Swirscsz (2005), which established local optimality property of MWIS and MWM for sparse random graphs. 1

研究动机与目标

• 分析Max Product（MP）算法在稀疏随机图上求解组合优化问题的收敛性与正确性。
• 探究MP是否能在随机图模型中可靠地找到最大权独立集（MWIS）与最大权匹配（MWM）的最优解。
• 在指数权重分布下，建立MP性能的理论保证，包括竞争力与收敛概率。
• 将先前关于稀疏随机图中MWIS与MWM的局部最优性结果，扩展至MP算法的行为分析。

提出的方法

• 在节点或边权重的稀疏随机图 G(n, c/n) 和 Gr(n) 上应用Max Product（MP）算法，这是一种消息传递启发式方法。
• 将权重独立地分配给节点（用于MWIS）或边（用于MWM），权重服从指数分布。
• 以Gamarnik等人（2005）关于稀疏随机图中MWIS与MWM的局部最优性理论结果为基础。
• 分析图中MP消息的收敛性，表明在指数权重下，算法会稳定到一致的赋值。
• 通过概率分析证明，以高概率（1−ǫ）MP收敛并得到与最优值相差不超过1+ǫ的解。
• 证明对于大n和广泛的参数c与r，MP解以高概率为全局最优。

实验结果

研究问题

• RQ1 在何种条件下，Max Product算法能在稀疏随机图上对MWIS与MWM问题收敛到最优解？
• RQ2 在G(n, c/n)与Gr(n)模型中，MP性能如何随图大小及参数c或r变化？
• RQ3 当权重服从指数分布时，MP能否以高概率实现近似最优解（1+ǫ竞争力）？
• RQ4 MWIS/MWM的局部最优性与稀疏随机图中MP的收敛行为之间存在何种关系？
• RQ5 当应用于指数分布权重的随机图时，MP算法是否保持正确性与收敛性？

主要发现

• 对于任意 ǫ > 0，当n充分大时，Max Product算法以至少1−ǫ的概率收敛，并找到1+ǫ竞争力的解。
• 当节点或边权重独立地从指数分布中抽取时，MP算法收敛到MWIS与MWM的正确最优解。
• 在稀疏随机图模型G(n, c/n)与Gr(n)中，MP的收敛性与正确性在广泛的参数c与r范围内得到证明。
• 理论基础依赖于先前结果，即MWIS与MWM在稀疏随机图中具有局部最优性，而MP成功利用了这一性质。
• 算法在指数权重假设下表现出高概率的正确性与收敛性，展示了在大规模随机图中的鲁棒性。
• 结果表明，MP不仅是一种启发式方法，而且在指定的随机图集合中对MWIS与MWM具有可证明的有效性。