[论文解读] Efficiently learning Ising models on high degree graphs.

Guy Bresler|arXiv (Cornell University)|Nov 22, 2014

Markov Chains and Monte Carlo Methods被引用 2

一句话总结

本文提出一种贪心算法，可在 O(p²) 时间内学习有界度数图上的伊辛模型结构，显著优于穷举搜索的 O(p^d) 复杂度。关键洞见在于一种新型结构特性：每个节点至少有一个与之具有高互信息的邻居，从而可在无需对模型参数施加严格假设的前提下，实现高效的邻域识别。

ABSTRACT

We consider the problem of reconstructing the graph underlying an Ising model from i.i.d. samples. Over the last fifteen years this problem has been of significant interest in the statistics, machine learning, and statistical physics communities, and much of the effort has been directed towards finding algorithms with low computational cost for various restricted classes of models. Nevertheless, for learning Ising models on general graphs with $p$ nodes of degree at most $d$, it is not known whether or not it is possible to improve upon the $p^{d}$ computation needed to exhaustively search over all possible neighborhoods for each node. In this paper we show that a simple greedy procedure allows to learn the structure of an Ising model on an arbitrary bounded-degree graph in time on the order of $p^2$. We make no assumptions on the parameters except what is necessary for identifiability of the model, and in particular the results hold at low-temperatures as well as for highly non-uniform models. The proof rests on a new structural property of Ising models: we show that for any node there exists at least one neighbor with which it has a high mutual information. This structural property may be of independent interest.

研究动机与目标

• 为克服重建伊辛模型图结构的高计算成本，特别是针对高阶或复杂模型。
• 开发一种在一般有界度数图上高效运行的方法，且无需对相互作用参数施加严格假设。
• 建立伊辛模型的一种结构特性，从而通过互信息实现高效学习。

提出的方法

• 提出一种贪心算法，通过互信息作为选择标准，迭代识别每个节点的邻居。
• 利用一项新的结构结果：在有界度数伊辛模型中，每个节点至少有一个与之具有高互信息的邻居。
• 使用独立同分布样本的成对互信息估计，指导邻域重构，而无需进行穷举邻域搜索。
• 基于互信息阈值设计剪枝策略，以高效减少候选邻居数量。
• 确保该方法在低温条件下以及相互作用强度非均匀时仍保持有效性。
• 通过利用互信息特性来限制每个节点的候选邻居数量，证明该算法的时间复杂度为 O(p²)。

实验结果

研究问题

• RQ1 能否将有界度数图上学习伊辛模型结构的计算复杂度降低至 O(p^d) 以下？
• RQ2 伊辛模型中是否存在一种结构特性，使得无需穷举搜索即可实现高效的邻域识别？
• RQ3 基于互信息的贪心算法是否能在包括低温和非均匀模型在内的多种参数条件下，实现最优或近似最优性能？
• RQ4 在有界度数伊辛模型中，每个节点都存在一个高互信息邻居的性质是否普遍成立？
• RQ5 能否利用此类结构特性设计出具有可证明效率的高效学习算法？

主要发现

• 所提出的贪心算法可在任意有界度数图上以 O(p²) 时间学习伊辛模型结构，优于标准的 O(p^d) 穷举搜索。
• 该方法在低温条件下以及具有高度非均匀相互作用参数的模型中依然有效，且无需对参数施加任何限制。
• 证明了一项新的结构特性：在有界度数伊辛模型中，每个节点至少有一个与之具有高互信息的邻居。
• 该结构特性使算法能够通过聚焦于高信息量邻居，避免穷举邻域搜索。
• 通过利用互信息特性限制每个节点的候选邻居数量，确保了算法的效率。
• 该结果仅在保证模型可识别性的最小假设下成立，使该方法具有广泛适用性。