[论文解读] High Dimensional Structure Learning of Ising Models on Sparse Random Graphs

Animashree Anandkumar, Vincent Y. F. Tan+1 more|arXiv (Cornell University)|Oct 31, 2010

Markov Chains and Monte Carlo Methods参考文献 43被引用 11

一句话总结

本文提出了一种在相关性衰减条件下，针对稀疏Erdos-Renyi随机图上的铁磁伊辛模型结构学习的局部算法。它在使用条件互信息检验时，证明了在ω(log n)样本下结构学习的一致性，且计算复杂度为O(n⁴)；并表明相关性阈值化方法在Ω(log n)样本下可实现与真实图的常数编辑距离，从而在相关性衰减区域内证明了近乎最优的样本复杂度。

ABSTRACT

We consider the problem of learning the structure of ferromagnetic Ising models Markov on sparse Erdos-Renyi random graph. We propose simple local algorithms and analyze their performance in the regime of correlation decay. We prove that an algorithm based on a set of conditional mutual information tests is consistent for structure learning throughout the regime of correlation decay. This algorithm requires the number of samples to scale as ω(\log n), and has a computational complexity of O(n^4). A simpler algorithm based on correlation thresholding outputs a graph with a constant edit distance to the original graph when there is correlation decay, and the number of samples required is Ω(\log n). Under a more stringent condition, correlation thresholding is consistent for structure estimation. We finally prove a lower bound that Ω(c\log n) samples are also needed for consistent reconstruction of random graphs by any algorithm with positive probability, where c is the average degree. Thus, we establish that consistent structure estimation is possible with almost order-optimal sample complexity throughout the regime of correlation decay.

研究动机与目标

• 为稀疏Erdos-Renyi随机图上的铁磁伊辛模型结构学习开发简单、局部的算法。
• 分析这些算法在相关性衰减区域内的性能表现。
• 建立一致结构估计的样本复杂度边界与计算效率。
• 证明下限，表明任何算法要以正概率重建图，至少需要Ω(c log n)个样本，其中c为平均度数。

提出的方法

• 以条件互信息检验作为结构学习的核心机制，确保在相关性衰减区域内的一致性。
• 分析算法在相关性衰减下的性能，证明其需要ω(log n)个样本，且计算复杂度为O(n⁴)。
• 提出一种更简单的相关性阈值化算法，在相关性衰减下可输出与真实图编辑距离为常数的图。
• 在强于单纯相关性衰减的条件下，证明相关性阈值化在结构估计中具有可证明的一致性。
• 推导出下限，表明任何算法要以正概率重建图，至少需要Ω(c log n)个样本，其中c为平均度数。
• 结合随机图与伊辛模型的性质，通过理论分析，建立样本复杂度与计算复杂度的紧致边界。

实验结果

研究问题

• RQ1 在相关性衰减条件下，局部算法能否在稀疏Erdos-Renyi图上的铁磁伊辛模型中实现一致的结构学习？
• RQ2 在此设定下，一致结构估计所需的最小样本复杂度是多少？
• RQ3 在准确性和效率方面，相关性阈值化方法与更复杂的条件互信息方法相比如何？
• RQ4 是否存在随机图中一致重建所需的样本数的根本下限？
• RQ5 所提出的算法能否在保持低计算成本的同时实现近乎最优的样本复杂度？

主要发现

• 基于条件互信息的算法在ω(log n)个样本和O(n⁴)计算复杂度下，实现了结构学习的一致性。
• 相关性阈值化方法在相关性衰减下，可生成与真实图编辑距离为常数的图，且仅需Ω(log n)个样本。
• 在强于单纯相关性衰减的条件下，相关性阈值化在结构估计中具有可证明的一致性。
• 建立了Ω(c log n)个样本的下限，表明任何算法要以正概率重建图，至少需要此数量的样本，其中c为平均度数。
• 本文证明，在整个相关性衰减区域内，一致结构估计可实现近乎最优的样本复杂度。
• 结果表明，简单、局部的算法在稀疏伊辛模型的结构学习中，可在样本复杂度和计算效率方面实现近乎最优的性能。