[论文解读] Learning Some Popular Gaussian Graphical Models without Condition Number Bounds

Jonathan A. Kelner, Frederic Koehler+2 more|arXiv (Cornell University)|May 3, 2019

Bayesian Modeling and Causal Inference参考文献 53被引用 6

一句话总结

该论文提出了首个用于学习吸引性及可行走可加高斯随机场模型的固定多项式时间算法，样本复杂度为对数级别，且无需对精度矩阵施加条件数或范数相关的假设。该方法在强变量依赖条件下仍能实现鲁棒的结构恢复，克服了现有方法（如图模型Lasso和CLIME）在高条件数下失效的局限性。

ABSTRACT

Gaussian Graphical Models (GGMs) have wide-ranging applications in machine learning and the natural and social sciences. In most of the settings in which they are applied, the number of observed samples is much smaller than the dimension and they are assumed to be sparse. While there are a variety of algorithms (e.g. Graphical Lasso, CLIME) that provably recover the graph structure with a logarithmic number of samples, they assume various conditions that require the precision matrix to be in some sense well-conditioned. Here we give the first polynomial-time algorithms for learning attractive GGMs and walk-summable GGMs with a logarithmic number of samples without any such assumptions. In particular, our algorithms can tolerate strong dependencies among the variables. Our result for structure recovery in walk-summable GGMs is derived from a more general result for efficient sparse linear regression in walk-summable models without any norm dependencies. We complement our results with experiments showing that many existing algorithms fail even in some simple settings where there are long dependency chains, whereas ours do not.

研究动机与目标

• 解决现有高斯随机场模型学习算法对精度矩阵条件数或范数假设的限制。
• 为吸引性及可行走可加模型等流行高斯随机场模型类开发高效、固定多项式时间的结构恢复算法。
• 在样本数为维度对数级别的高维设定下，即使变量表现出强依赖性，也能实现可靠学习。
• 为可行走可加模型中的稀疏线性回归提供理论保证，且不依赖于范数，从而构成主要结果的理论基础。

提出的方法

• 提出一种基于可行走可加模型中稀疏线性回归的新算法框架，利用精度矩阵的结构性质，避免对范数的依赖。
• 引入一种新条件——可行走可加性，其推广了稀疏性，允许强变量依赖，同时仍能实现高效学习。
• 采用贪心剪枝与验证策略（GreedyAndPrune）恢复图结构，并在可行走可加性假设下提供理论保证。
• 建立可行走可加模型中高效稀疏线性回归的一般性结果，作为结构恢复的核心理论基础。
• 设计一种验证程序以检验候选边集，确保正确性，且不依赖于特征值或条件数边界。
• 在合成数据和真实世界数据（如核黄素数据集）上实现并评估该方法，与图模型Lasso、CLIME、MB及HybridMB进行比较。

实验结果

研究问题

• RQ1 我们能否在不依赖精度矩阵条件数或范数边界的前提下，以对数样本复杂度在多项式时间内学习吸引性及可行走可加高斯随机场模型？
• RQ2 在强变量依赖和高条件数设定下，所提出的方法是否优于图模型Lasso和CLIME等现有算法？
• RQ3 可行走可加性是否可作为高维稀疏设定下鲁棒高斯随机场结构恢复的可行且可推广的假设？
• RQ4 是否存在一种固定多项式时间算法，用于可行走可加模型中的稀疏线性回归，避免范数依赖并实现准确的结构学习？
• RQ5 在真实世界和半合成数据集上，所提出方法在样本复杂度和运行时间方面与现有方法相比表现如何？

主要发现

• 所提算法在可行走可加高斯随机场模型中实现结构恢复，仅需 O(log n) 个样本，且无需对精度矩阵施加任何条件数或范数假设。
• 实验表明，图模型Lasso和CLIME在存在长依赖链和高条件数的设定下失效，而所提方法仍能成功运行。
• 在核黄素数据集上，GreedyAndPrune 的串行运行时间最快（0.19 秒），优于图模型Lasso（0.74 秒）和CLIME（2.12 秒）。
• 在半合成实验中，该方法仅需 500–550 个样本即可实现每节点错误边数 ≤0.25，性能与现有方法相当或更优。
• 图模型Lasso估计的精度矩阵条件数和行 ℓ₁-范数与维度 n 相当，表明现有方法的已知理论保证在此类情况下不适用。
• 恢复的矩阵在弗罗贝尼乌斯范数下接近可行走可加性，支持了在真实世界设定中可行走可加性假设的合理性。