[论文解读] Learning Planar Ising Models

Jason K. Johnson, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Nov 15, 2010

Bayesian Methods and Mixture Models参考文献 24被引用 3

一句话总结

本文提出一种贪心算法，利用已知的成对相关性，为二元随机变量学习最佳的平面伊辛模型近似。通过利用平面伊辛模型中的可 tractable 推断以及高效的平面性测试，该方法构建了一个最大平面图，使其最优拟合观测到的相关性，在模拟中实现了精确恢复，并以高精度对美国参议院投票模式进行建模。

ABSTRACT

Inference and learning of graphical models are both well-studied problems in statistics and machine learning that have found many applications in science and engineering. However, exact inference is intractable in general graphical models, which suggests the problem of seeking the best approximation to a collection of random variables within some tractable family of graphical models. In this paper, we focus our attention on the class of planar Ising models, for which inference is tractable using techniques of statistical physics [Kac and Ward; Kasteleyn]. Based on these techniques and recent methods for planarity testing and planar embedding [Chrobak and Payne], we propose a simple greedy algorithm for learning the best planar Ising model to approximate an arbitrary collection of binary random variables (possibly from sample data). Given the set of all pairwise correlations among variables, we select a planar graph and optimal planar Ising model defined on this graph to best approximate that set of correlations. We demonstrate our method in some simulations and for the application of modeling senate voting records.

研究动机与目标

• 开发一种在一般模型中精确推断不可行时仍可 tractable 的图形模型学习方法。
• 将一组二元随机变量近似为匹配其成对相关性的平面伊辛模型。
• 利用已知的平面图技术和伊辛模型推断方法，实现图形结构与参数的高效学习。
• 将该方法应用于真实世界数据（如美国参议院投票记录），以揭示潜在的相互作用结构。
• 将该框架扩展至非零场外平面模型，以提升其适用范围。

提出的方法

• 使用贪心算法迭代地向图中添加边，选择那些最能提升匹配观测到的成对相关性似然度的边。
• 应用平面性测试与嵌入算法（例如 Chrobak 和 Payne 算法），以确保每一步构建的图始终保持平面性。
• 利用矩阵行列式计算（Kac-Ward、Kasteleyn）实现可 tractable 的伊辛模型推断，以高效计算配分函数和似然度。
• 将学习问题表述为在平面伊辛模型下，最大化观测到的成对矩的对数似然度。
• 对于非零均值模型，使用辅助节点技巧，将外平面模型映射为等价的零场平面模型，以实现可 tractable 推断。
• 使用吉布斯采样从已知模型中生成经验数据，用于模拟验证。

实验结果

研究问题

• RQ1 贪心算法能否高效地学习一个平面伊辛模型，以最佳近似一组二元随机变量之间的成对相关性？
• RQ2 当仅有成对矩可用时，该方法在多大程度上能恢复真实的图形结构？
• RQ3 该方法能否扩展至在具有可 tractable 推断能力的外平面图上建模非零均值伊辛模型？
• RQ4 该方法在捕捉真实世界依赖关系（如美国参议院投票模式）方面的准确性如何？
• RQ5 样本量对图形模型恢复准确性的影响是什么？

主要发现

• 在 10^5 个样本下，该算法在模拟中实现了对底层平面图形模型的完美恢复。
• 在 10^4 个样本下，该算法对零场平面伊辛模型和非零场外平面伊辛模型均实现了对真实模型的精确恢复。
• 对于美国参议院投票数据，所学习的平面图正确捕捉了政党隶属关系和党团协作模式，例如桑德斯和利伯曼仅与民主党人相连。
• 随着样本量增加，恢复模型中的错误边数显著减少，从 10^3 个样本时的 0.18 降至 10^4 个样本时的零。
• 该方法成功识别出麦康奈尔与共和党人联系紧密，而里德则相对不具中心性，与已知的政治动态一致。
• 该算法性能稳健且可扩展，在足够采样下实现了精确恢复。