[论文解读] Efficient Exact Inference in Planar Ising Models

Nicol N. Schraudolph, Dmitry Kamenetsky|ArXiv.org|Oct 24, 2008

Error Correcting Code Techniques参考文献 42被引用 50

一句话总结

该论文通过利用平面性将问题映射到对偶图中的完美匹配，提出了一种在平面伊辛模型中进行精确推断的多项式时间算法，从而在无需次模性约束的情况下高效计算基态、配分函数和边缘概率。该方法在图像去噪和分割任务中达到最先进性能，10,000个节点的网格在普通笔记本电脑上仅需0.3秒即可处理完成。

ABSTRACT

We give polynomial-time algorithms for the exact computation of lowest-energy (ground) states, worst margin violators, log partition functions, and marginal edge probabilities in certain binary undirected graphical models. Our approach provides an interesting alternative to the well-known graph cut paradigm in that it does not impose any submodularity constraints; instead we require planarity to establish a correspondence with perfect matchings (dimer coverings) in an expanded dual graph. We implement a unified framework while delegating complex but well-understood subproblems (planar embedding, maximum-weight perfect matching) to established algorithms for which efficient implementations are freely available. Unlike graph cut methods, we can perform penalized maximum-likelihood as well as maximum-margin parameter estimation in the associated conditional random fields (CRFs), and employ marginal posterior probabilities as well as maximum a posteriori (MAP) states for prediction. Maximum-margin CRF parameter estimation on image denoising and segmentation problems shows our approach to be efficient and effective. A C++ implementation is available from http://nic.schraudolph.org/isinf/

研究动机与目标

• 开发一种用于二元无向图模型精确推断的框架，避免图割方法所需的次模性约束。
• 解决在高树宽图模型（如网格晶格）中精确推断的计算不可行性问题。
• 通过支持边缘概率和MAP推断，实现条件随机场（CRFs）中的最大间隔和惩罚最大似然参数估计。
• 通过利用平面性和与完美匹配的对偶性，将精确推断扩展至非次模模型。
• 为平面伊辛模型中的推断任务（包括基态、配分函数和边边缘概率）提供可扩展、高效且统一的实现。

提出的方法

• 该方法将平面伊辛模型映射到其对偶图，将能量最小化问题转化为最小权完美匹配问题。
• 采用构造性变换将一般二元MRF转换为带有偏置节点的等价伊辛模型，保持能量等价性（至多一个常数偏移）。
• 该框架依赖于平面嵌入和最大权完美匹配算法，将复杂子问题委托给成熟且高效的库。
• 基态通过在对偶图中进行最小权完美匹配计算得到，其对应于原始模型中的最低能量配置。
• 对数配分函数和边缘概率通过凯斯特莱因矩阵的佩夫安行列式推导得出，利用了伊辛模型与单体覆盖之间的对偶性。
• 该方法支持MAP推断和边缘后验推断，从而实现最大间隔CRF训练和参数估计。

实验结果

研究问题

• RQ1 是否可以在不依赖次模性约束的前提下，以多项式时间实现平面伊辛模型中的精确推断？
• RQ2 如何利用平面伊辛模型与完美匹配之间的对偶性，高效计算基态、配分函数和边缘概率？
• RQ3 该框架是否能够支持CRFs中的最大间隔参数估计，从而在泛化性能上超越次模图割方法？
• RQ4 该方法在多大程度上可扩展至大规模真实世界图模型，如100×100的图像网格？
• RQ5 能否通过利用如亏格或受挫环等拓扑性质，将该方法扩展至非平面图？

主要发现

• 该算法仅用0.3个CPU秒就在普通笔记本电脑上完成了10,000个节点的平面伊辛模型基态计算，展现出极高的可扩展性。
• 在图像去噪和分割任务中，最大间隔CRF训练实现了高精度，信噪比为1:7和1:8时，误标节点比例低于1%。
• 该方法成功恢复了噪声掩码中的原始分割边界，在某些情况下甚至超越了人类视觉感知的极限。
• 该框架同时支持MAP和边缘后验推断，支持CRFs中的惩罚最大似然和最大间隔参数估计。
• 该方法对噪声具有鲁棒性，在信噪比1:6及以上时可实现完美重建，仅在1:9及以下时失败。
• 400×400的网格在0.85个CPU秒内处理完成，证实了该方法在大规模问题上的高效性。