[论文解读] Bethe-ADMM for Tree Decomposition based Parallel MAP Inference

Qiang Fu, Huahua Wang+1 more|arXiv (Cornell University)|Sep 26, 2013

Error Correcting Code Techniques参考文献 26被引用 16

一句话总结

该论文提出Bethe-ADMM，一种用于离散图模型的并行最大后验（MAP）推理算法，结合树分解与基于Bethe散度的近似ADMM，利用Bethe散度构造的近端函数实现高效、可扩展且全局收敛的推理。通过将图模型分解为树结构，利用求和-乘积算法并行求解子问题，该方法在合成数据集和真实数据集上均实现了随着核心数增加而接近线性的加速效果。

ABSTRACT

We consider the problem of maximum a posteriori (MAP) inference in discrete graphical models. We present a parallel MAP inference algorithm called Bethe-ADMM based on two ideas: tree-decomposition of the graph and the alternating direction method of multipliers (ADMM). However, unlike the standard ADMM, we use an inexact ADMM augmented with a Bethe-divergence based proximal function, which makes each subproblem in ADMM easy to solve in parallel using the sum-product algorithm. We rigorously prove global convergence of Bethe-ADMM. The proposed algorithm is extensively evaluated on both synthetic and real datasets to illustrate its effectiveness. Further, the parallel Bethe-ADMM is shown to scale almost linearly with increasing number of cores.

研究动机与目标

• 为解决大规模离散图模型中可扩展且高效的MAP推理挑战。
• 通过将图模型分解为树状子问题，实现MAP推理的并行计算。
• 通过在ADMM中引入基于Bethe散度的近端函数，提升收敛性与计算效率。
• 即使使用子问题的近似解，也能保证算法的全局收敛性。
• 证明该方法在计算核心数增加时具有线性可扩展性。

提出的方法

• 该方法使用树分解将图模型划分为树状子图，从而实现子问题的并行处理。
• 采用非精确ADMM框架协调子问题间的解，降低计算开销。
• 引入基于Bethe散度的近端函数对子问题更新进行正则化，使其可通过求和-乘积算法高效求解。
• 每个子问题通过求和-乘积算法并行求解，该算法对树状结构模型是精确的。
• 通过利用Bethe近似特性和ADMM收敛性理论，确保算法的全局收敛性。
• 通过对偶上升与一致性约束实现方法，以保持树分解中重叠变量的一致性。

实验结果

研究问题

• RQ1 树分解能否与ADMM有效结合，以实现在图模型中的可扩展、并行MAP推理？
• RQ2 基于Bethe散度的近端函数是否能提升ADMM推理中的收敛性与计算效率？
• RQ3 在实际应用中，Bethe-ADMM能否随着核心数增加实现接近线性的加速？
• RQ4 在真实数据集与合成数据集上，Bethe-ADMM在解质量与运行时间方面与现有推理方法相比表现如何？
• RQ5 对于使用Bethe近端函数的非精确ADMM变体，是否能保证全局收敛性？

主要发现

• 尽管使用了非精确的子问题解，Bethe-ADMM仍能实现全局收敛，这是重要的理论贡献。
• 该算法在核心数增加时表现出接近线性的可扩展性，显示出在大规模推理任务中的优异性能。
• 在合成数据集上，Bethe-ADMM在收敛速度与解精度方面优于标准ADMM及其他基线方法。
• 在真实数据集上，该方法在显著缩短运行时间的同时，仍能保持高质量的MAP估计。
• 基于Bethe散度的近端函数使基于求和-乘积算法的子问题求解更加高效，这对可扩展性至关重要。
• 实验结果证实，得益于树分解与近端正则化，该算法即使在具有环路的图模型上也能收敛到高质量解。