[论文解读] Structure learning of antiferromagnetic Ising models

Guy Bresler, David Gamarnik+1 more|arXiv (Cornell University)|Dec 3, 2014

Bayesian Modeling and Causal Inference参考文献 26被引用 14

一句话总结

本文建立了使用统计算法学习最大度数为 $d$ 的一般离散无向图模型的计算下界 $Ω(p^{d/2})$，表明穷举搜索几乎是最优的。此外，本文引入了一类具有强排斥作用的反铁磁伊辛模型，其结构学习可在 $O(p^2)$ 时间内完成，与铁磁或一般模型的困难性形成鲜明对比。

ABSTRACT

In this paper we investigate the computational complexity of learning the graph structure underlying a discrete undirected graphical model from i.i.d. samples. We first observe that the notoriously difficult problem of learning parities with noise can be captured as a special case of learning graphical models. This leads to an unconditional computational lower bound of $Ω(p^{d/2})$ for learning general graphical models on $p$ nodes of maximum degree $d$, for the class of so-called statistical algorithms recently introduced by Feldman et al (2013). The lower bound suggests that the $O(p^d)$ runtime required to exhaustively search over neighborhoods cannot be significantly improved without restricting the class of models. Aside from structural assumptions on the graph such as it being a tree, hypertree, tree-like, etc., many recent papers on structure learning assume that the model has the correlation decay property. Indeed, focusing on ferromagnetic Ising models, Bento and Montanari (2009) showed that all known low-complexity algorithms fail to learn simple graphs when the interaction strength exceeds a number related to the correlation decay threshold. Our second set of results gives a class of repelling (antiferromagnetic) models that have the opposite behavior: very strong interaction allows efficient learning in time $O(p^2)$. We provide an algorithm whose performance interpolates between $O(p^2)$ and $O(p^{d+2})$ depending on the strength of the repulsion.

研究动机与目标

• 确定从独立同分布样本中学习图模型结构的计算复杂度。
• 为具有有界度数的一般图模型学习建立统计算法的下界。
• 识别在一般困难性下结构学习仍可 tractable 的条件。
• 探讨相互作用类型（特别是反铁磁与铁磁）对计算复杂度的影响。
• 证明强排斥作用下的反铁磁伊辛模型可实现高效的结构学习算法。

提出的方法

• 使用 Feldman 等人提出的统计查询模型分析结构学习的计算复杂度。
• 将结构学习问题约化为等价于带噪声的奇偶学习的困难学习问题。
• 构建一组大小为 $d$ 的子集上的软奇偶分布族，以建模困难实例。
• 应用统计维数与平均相关性框架，推导出查询复杂度的下界。
• 设计一种新的反铁磁伊辛模型算法，其运行时间根据相互作用强度在 $\widetilde{O}(p^2)$ 与 $\widetilde{O}(p^{d+2})$ 之间插值。
• 采用相关性衰减分析，表明强排斥可导致快速混合，从而实现高效学习。

实验结果

研究问题

• RQ1 对于最大度数为 $d$ 的一般图模型，是否能以显著低于 $p^{d}$ 的时间完成结构学习？
• RQ2 即使在最优样本复杂度下，是否存在学习一般模型的根本性计算障碍？
• RQ3 具有强排斥作用的反铁磁伊辛模型是否允许在一般困难性下实现高效的结构学习？
• RQ4 相互作用强度如何影响伊辛模型中结构学习的计算复杂度？
• RQ5 能否用强排斥替代相关性衰减特性，以实现可 tractable 的学习？

主要发现

• 为最大度数为 $d$ 的一般图模型学习建立了 $\Omega(p^{d/2})$ 的无条件计算下界，表明 $\widetilde{O}(p^{d+2})$ 的穷举搜索几乎是最优的。
• 该困难性结果与带噪声的奇偶学习问题相关联，表明在缺乏结构假设的情况下，已知的算法方法本质上受限。
• 对于具有强排斥作用的反铁磁伊辛模型，结构学习可在 $\widetilde{O}(p^2)$ 时间内完成，远快于一般情况。
• 所提算法的运行时间依赖于相互作用强度，在排斥作用减弱时，其时间复杂度在 $\widetilde{O}(p^2)$ 与 $\widetilde{O}(p^{d+2})$ 之间插值。
• 强排斥诱导了一种有效的去相关形式，从而实现高效学习，这与低复杂度算法在铁磁模型中超过相关性衰减阈值时的失败形成鲜明对比。
• 统计维数框架证实，困难实例族（软奇偶）具有高复杂度，从而验证了该下界。