[论文解读] Learning Gaussian Graphical Models with Observed or Latent FVSs

Ying D. Liu, Alan S. Willsky|arXiv (Cornell University)|Nov 10, 2013

Bayesian Modeling and Causal Inference参考文献 20被引用 10

一句话总结

该论文提出了一种针对反馈顶点集（FVS）较小的高斯图模型（GGMs）的高效结构学习算法，实现了 O(k²n) 时间内的精确推理，其中 k 为 FVS 大小，n 为节点数。提出了两种方法：一种用于观测到的 FVS，采用基于 Chow-Liu 的算法，时间复杂度为 O(kn² + n² log n)；另一种用于潜在 FVS，通过逆协方差矩阵的交替低秩校正实现，每轮迭代复杂度相同，从而实现了具有强大建模能力的可扩展学习。

ABSTRACT

Gaussian Graphical Models (GGMs) or Gauss Markov random fields are widely used in many applications, and the trade-off between the modeling capacity and the efficiency of learning and inference has been an important research problem. In this paper, we study the family of GGMs with small feedback vertex sets (FVSs), where an FVS is a set of nodes whose removal breaks all the cycles. Exact inference such as computing the marginal distributions and the partition function has complexity $O(k^{2}n)$ using message-passing algorithms, where k is the size of the FVS, and n is the total number of nodes. We propose efficient structure learning algorithms for two cases: 1) All nodes are observed, which is useful in modeling social or flight networks where the FVS nodes often correspond to a small number of high-degree nodes, or hubs, while the rest of the networks is modeled by a tree. Regardless of the maximum degree, without knowing the full graph structure, we can exactly compute the maximum likelihood estimate in $O(kn^2+n^2\log n)$ if the FVS is known or in polynomial time if the FVS is unknown but has bounded size. 2) The FVS nodes are latent variables, where structure learning is equivalent to decomposing a inverse covariance matrix (exactly or approximately) into the sum of a tree-structured matrix and a low-rank matrix. By incorporating efficient inference into the learning steps, we can obtain a learning algorithm using alternating low-rank correction with complexity $O(kn^{2}+n^{2}\log n)$ per iteration. We also perform experiments using both synthetic data as well as real data of flight delays to demonstrate the modeling capacity with FVSs of various sizes.

研究动机与目标

• 为解决高斯图模型（GGMs）中建模能力与计算效率之间的权衡问题。
• 在 FVS 较小的 GGM 中实现精确推理与最大似然学习，其中 FVS 节点可消除图中所有环。
• 为 FVS 节点完全观测或潜在的情况开发可扩展的学习算法，确保推理与学习的可处理性。
• 证明大小为 O(log n) 的 FVS 基模型在建模能力与计算效率之间具有良好的平衡。

提出的方法

• 为已知观测 FVS 的 GGM 提出一种结构学习算法，采用条件 Chow-Liu 算法，实现精确的最大似然估计。
• 采用消息传递推理方法，时间复杂度为 O(k²n)，利用移除 FVS 后剩余图的树状结构。
• 对于潜在 FVS，将结构学习问题表述为将逆协方差矩阵分解为树状结构矩阵与低秩矩阵的组合。
• 提出一种交替投影算法，通过在树状结构矩阵与低秩矩阵集合之间交替投影，利用 GGM 的性质确保精确计算。
• 利用高效的矩阵求逆公式（Schur 补）计算边缘分布，而无需显式构造完整的逆协方差矩阵。
• 通过算法 6 加速学习过程，通过避免冗余计算，将每轮迭代的复杂度降低至 O(kn² + n² log n)。

实验结果

研究问题

• RQ1 当所有节点（包括 FVS 节点）均被观测时，能否在 FVS 较小的 GGM 中实现精确最大似然学习？其计算复杂度是多少？
• RQ2 当 FVS 节点为潜在变量时，如何学习 GGM？其结构学习问题在矩阵分解意义上等价于什么？
• RQ3 FVS 基 GGM 的学习算法的计算复杂度是多少？能否通过高效推理的集成进一步降低复杂度？
• RQ4 大小为 O(log n) 的伪 FVS 是否能在大规模模型中为近似推理提供优异的实证性能？
• RQ5 交替低秩校正能否为潜在 FVS 模型提供一种可证明高效且精确的学习算法？

主要发现

• 对于观测到的 FVS，所提算法在已知 FVS 时以 O(kn² + n² log n) 时间实现精确最大似然估计；当 FVS 未知但大小有界时，可在多项式时间内完成。
• 对于潜在 FVS，学习问题可简化为将逆协方差矩阵分解为树状结构矩阵与低秩矩阵，通过交替投影求解。
• 交替低秩校正算法通过利用高效的矩阵求逆公式，每轮迭代的复杂度达到 O(kn² + n² log n)。
• 在合成数据与航班延误数据上的实证结果表明，大小为 O(log n) 的 FVS 基模型在建模能力与计算效率之间实现了良好平衡。
• 潜在 Chow-Liu 算法的加速版本在复杂度上与观测情况相当，证实了其在真实世界应用中的可扩展性与实用性。