[论文解读] Inference in Graphical Models via Semidefinite Programming Hierarchies

Murat A. Erdogdu, Yash Deshpande+1 more|arXiv (Cornell University)|Sep 19, 2017

Bayesian Modeling and Causal Inference参考文献 18被引用 7

一句话总结

该论文提出了一种可扩展的半定规划（SDP）方法，用于图形模型中的MAP推断，采用部分和平方（SOS）层次结构，聚焦于连续区域以降低计算成本。通过结合基于区域的SDP松弛与非凸Burer-Monteiro方法，并采用顺序取值方案，该方法在大规模问题（如图像去噪和伊辛自旋玻璃）上实现了最先进性能，可在数分钟内求解包含10,000个变量的实例，优于BP和GBP。

ABSTRACT

Maximum A posteriori Probability (MAP) inference in graphical models amounts to solving a graph-structured combinatorial optimization problem. Popular inference algorithms such as belief propagation (BP) and generalized belief propagation (GBP) are intimately related to linear programming (LP) relaxation within the Sherali-Adams hierarchy. Despite the popularity of these algorithms, it is well understood that the Sum-of-Squares (SOS) hierarchy based on semidefinite programming (SDP) can provide superior guarantees. Unfortunately, SOS relaxations for a graph with $n$ vertices require solving an SDP with $n^{Θ(d)}$ variables where $d$ is the degree in the hierarchy. In practice, for $d\ge 4$, this approach does not scale beyond a few tens of variables. In this paper, we propose binary SDP relaxations for MAP inference using the SOS hierarchy with two innovations focused on computational efficiency. Firstly, in analogy to BP and its variants, we only introduce decision variables corresponding to contiguous regions in the graphical model. Secondly, we solve the resulting SDP using a non-convex Burer-Monteiro style method, and develop a sequential rounding procedure. We demonstrate that the resulting algorithm can solve problems with tens of thousands of variables within minutes, and outperforms BP and GBP on practical problems such as image denoising and Ising spin glasses. Finally, for specific graph types, we establish a sufficient condition for the tightness of the proposed partial SOS relaxation.

研究动机与目标

• 为解决全SOS层次结构SDP松弛在图形模型MAP推断中的可扩展性限制，其变量数量为$ n^{\Theta(d)} $，当$ d \geq 4 $时不可行。
• 通过将决策变量限制在图形模型中的连续区域，开发一种计算高效的高阶SOS松弛替代方法。
• 通过利用更紧致的SDP松弛，在保持大规模问题可处理性的同时，改进信念传播（BP）和广义BP（GBP）的性能。
• 建立理论条件，说明在何种情况下所提出的部分SOS松弛对特定图结构是紧致的。

提出的方法

• 通过仅在图形模型中的连续区域（如三角形或晶胞）引入决策变量，而非所有子集，提出一种部分SOS松弛。
• 采用非凸Burer-Monteiro风格的分解方法，高效求解所得SDP，避免全SDP求解器的高成本。
• 提出一种顺序取值程序（CLAP），将松弛解转换为离散的MAP估计。
• 实施一种提升过程，将部分SOS松弛与CLAP取值相结合，以提高解的质量。
• 添加辅助边（如网格中的对角线）并赋予零权势，以满足SOS层次结构的区域一致性条件（3.1）。
• 采用最高至$ d=4 $的松弛层次结构，称为PSOS(4)，在解的质量与计算成本之间取得平衡。

实验结果

研究问题

• RQ1 基于连续区域的部分SOS松弛是否能在保持对大规模图形模型可扩展性的同时，实现优于BP和GBP的推断质量？
• RQ2 在包含数万个变量的问题上应用基于SOS的松弛时，其计算成本是多少？是否可通过非凸优化降低？
• RQ3 在何种条件下，所提出的部分SOS松弛是紧致的，从而确保对特定图类型的精确MAP推断？
• RQ4 在真实问题（如图像去噪和伊辛自旋玻璃）上，所提方法与BP和GBP相比性能如何？
• RQ5 在可进行穷举搜索的小规模实例上，该方法是否能实现精确或近似精确解？

主要发现

• 所提出的PSOS(4)方法可在数分钟内求解高达10,000个变量的MAP推断问题，相较于以往仅限于几十个变量的SOS方法，实现显著改进。
• 在图像去噪任务中，PSOS(4)始终取得最高的目标函数值和最佳重建质量，通常与GBP或BP相当或更优。
• 在2D网格上的伊辛自旋玻璃问题中，PSOS(4)在所有16和25个节点的实例中均达到全局最优解，这些实例可通过穷举搜索验证。
• 在800次更大规模伊辛自旋玻璃实例（n=100, 400, 900）的实验中，PSOS(4)在每一例中均取得最大目标值，优于BP、GBP及其他基线方法。
• CLAP取值方案与PSOS(4)结合，可在合理运行时间内生成高质量离散解，对于10,000个变量的问题，完整执行约需一小时。
• 对于特定图类型（如具有三角形区域的2D网格），本文建立了部分SOS松弛为紧致的充分条件，从而保证精确推断。