[论文解读] Bethe Bounds and Approximating the Global Optimum

Adrian Weller, Tony Jebara|arXiv (Cornell University)|Jan 1, 2012

Genomics and Chromatin Dynamics参考文献 22被引用 3

一句话总结

本文提出了一种多项式时间近似方案（PTAS），用于在有界度数的关联二元成对马尔可夫随机场（MRF）中全局最小化Bethe自由能。通过推导Hessian矩阵最大特征值的紧致界，并结合Bethe边界传播（Bethe bound propagation），该方法在离散化网格上实现了基于图割的高效优化，通过控制二阶导数实现近似保证。

ABSTRACT

Inference in general Markov random fields (MRFs) is NP-hard, though identifying the maximum a posteriori (MAP) configuration of pairwise MRFs with submodular cost functions is efficiently solvable using graph cuts. Marginal inference, however, even for this restricted class, is in #P. We prove new formulations of derivatives of the Bethe free energy, provide bounds on the derivatives and bracket the locations of stationary points, introducing a new technique called Bethe bound propagation. Several results apply to pairwise models whether associative or not. Applying these to discretized pseudo-marginals in the associative case we present a polynomial time approximation scheme for global optimization provided the maximum degree is $O(\log n)$, and discuss several extensions.

研究动机与目标

• 为关联二元成对MRF中的Bethe自由能全局最小值开发一种多项式时间近似方案（PTAS）。
• 推导Bethe自由能Hessian矩阵最大特征值的严格界，以实现近似保证。
• 证明在精细网格上，离散化多标签子模问题仍保持子模性，从而支持通过图割实现高效优化。
• 将变分推理的适用性扩展至Bethe自由能的全局优化，实现可证明的收敛性与误差界。
• 为近似复杂模型（如QMR）中的边际推断提供一种框架，通过最小化Bethe自由能实现。

提出的方法

• 推导Bethe自由能导数的新表达式，并建立其二阶行为的界。
• 提出Bethe边界传播（BBP），一种通过迭代细化区间估计以生成紧致边际界的技术。
• 在单变量边际上使用分辨率δ的离散化网格，以确保真实最优解位于某网格点δ距离之内。
• 利用最大方向二阶导数Λ控制近似误差，通过Hessian矩阵的迹与稀疏性约束对Λ进行有界。
• 应用图割高效求解离散化子模优化问题，利用子模能量与最小割/最大流之间的等价性。
• 使用重参数化对参数进行归一化，并在最大度数Δ=O(log n)下确保1/(η_i(1−η_i))的多项式有界性。

实验结果

研究问题

• RQ1 能否为关联二元成对MRF中Bethe自由能的全局最小值构造一种多项式时间近似方案？
• RQ2 在边界边际附近，Bethe自由能Hessian矩阵最大特征值可建立何种界？
• RQ3 如何利用Bethe边界传播来收紧边际估计并提升近似质量？
• RQ4 在何种条件下，离散化Bethe自由能仍保持子模性，从而支持通过图割实现高效优化？
• RQ5 该方法能否通过二值编码扩展至多标签与高阶子模MRF？

主要发现

• 本文首次建立了Bethe自由能Hessian矩阵最大特征值Λ的严格界，在度数约束下Λ有界于O(nΩ√Σ)。
• 对于最大度数Δ=O(log n)的模型，方差项的倒数1/(η_i(1−η_i))有界于模型参数的指数函数，确保多项式可扩展性。
• 所提PTAS的最坏时间复杂度为O(n^6 Σ^{3/4} Ω^{3/2} ε^{-3/2})，虽为弱多项式，但因Boykov-Kolmogorov等快速最大流求解器而具备实际高效性。
• 在任意网格上，离散化优化问题仍保持子模性，即使在二值编码后对多标签与高阶模型，亦可通过图割高效求解。
• 仅Bethe边界传播本身即可产生极为紧致的边际界，表明其在近似方案之外亦具实用价值。
• 该框架可实现Bethe自由能的全局优化，误差由½Λδ²有界，提供可证明的近似保证。