[论文解读] Message-Passing Algorithms for Quadratic Minimization

Nicholas Ruozzi, Sekhar Tatikonda|arXiv (Cornell University)|Dec 2, 2012

Bayesian Modeling and Causal Inference参考文献 23被引用 14

一句话总结

该论文提出了一种参数化的高斯信念传播（GaBP）推广方法，用于二次优化问题，通过重加权消息传递保持计算树的正定性，从而确保收敛性。该文证明图覆盖刻画了行走可求和性（walk-summability），并表明在合适的参数选择下，该算法可对任意正定矩阵收敛到正确解，从而将GaBP的适用范围扩展至标准收敛极限之外。

ABSTRACT

Gaussian belief propagation (GaBP) is an iterative algorithm for computing the mean of a multivariate Gaussian distribution, or equivalently, the minimum of a multivariate positive definite quadratic function. Sufficient conditions, such as walk-summability, that guarantee the convergence and correctness of GaBP are known, but GaBP may fail to converge to the correct solution given an arbitrary positive definite quadratic function. As was observed in previous work, the GaBP algorithm fails to converge if the computation trees produced by the algorithm are not positive definite. In this work, we will show that the failure modes of the GaBP algorithm can be understood via graph covers, and we prove that a parameterized generalization of the min-sum algorithm can be used to ensure that the computation trees remain positive definite whenever the input matrix is positive definite. We demonstrate that the resulting algorithm is closely related to other iterative schemes for quadratic minimization such as the Gauss-Seidel and Jacobi algorithms. Finally, we observe, empirically, that there always exists a choice of parameters such that the above generalization of the GaBP algorithm converges.

研究动机与目标

• 解决标准高斯信念传播（GaBP）在任意正定二次函数下无法收敛到正确解的问题。
• 利用图覆盖刻画GaBP的收敛限制，并提供对行走可求和性的组合理解。
• 提出一种重加权消息传递方案，确保计算树的正定性，从而保证收敛性和正确性。
• 证明所提出的算法在特定参数选择下与已知的迭代求解器（如 Gauss-Seidel 和 Jacobi）等价。
• 通过实验验证，对于任意正定矩阵，总存在合适的参数选择以确保收敛。

提出的方法

• 提出一种参数化的最小和算法推广，通过重加权消息传递，使计算树中对角线元素相对于非对角线元素被高估。
• 利用图覆盖构造行走可求和性的对偶刻画，表明当计算树失去正定性时，GaBP即发生失败。
• 应用 Gershgorin 圆盘定理，通过选择衰减参数 $ s $ 和 $ r $ 来界定计算树的特征值，确保其正定性下界。
• 使用缩放因子 $ r $ 和 $ s $ 重写计算树中的势函数，使特征值界限的分析可独立于时间或深度进行。
• 证明在特定参数范围内，重加权算法与经典迭代求解器（如 Gauss-Seidel 和 Jacobi）等价。
• 通过实验观察发现，对于任意正定矩阵，总存在一种参数选择可确保收敛，即使标准GaBP失败。

实验结果

研究问题

• RQ1 能否利用图覆盖完全刻画高斯信念传播（GaBP）在二次优化中的失败模式？
• RQ2 是否存在一种重加权消息传递算法，可确保任意正定矩阵的计算树保持正定性？
• RQ3 所提出的算法是否可在标准GaBP失败时仍保证收敛并计算出正确解？
• RQ4 所提出的算法与经典迭代求解器（如 Gauss-Seidel 和 Jacobi）之间有何关系？
• RQ5 对于重加权算法，是否总存在一种参数设置，可确保对所有正定矩阵均收敛？

主要发现

• 图覆盖为行走可求和性提供了组合刻画，表明当计算树非正定时，GaBP即发生失败。
• 参数化的最小和算法推广可确保输入矩阵为正定时，计算树始终保持正定性。
• 该算法可对任意正定矩阵收敛到正确解，从而将GaBP的适用范围扩展至行走可求和情况之外。
• 存在一种参数选择，使得重加权算法对任意正定矩阵均可收敛，该结论已通过实验验证。
• 在特定参数设置下，所提出的算法在数学上等价于 Gauss-Seidel 和 Jacobi 方法，从而将其与已知的迭代求解器联系起来。
• 当参数 $ s $ 和 $ r $ 选择得当时，所有计算树的特征值均被下界控制在正数 $ \epsilon > 0 $ 之上，从而确保收敛。