[论文解读] Learning to Discover Sparse Graphical Models

Eugene Belilovsky, Kyle Kastner+2 more|arXiv (Cornell University)|May 20, 2016

Bayesian Modeling and Causal Inference被引用 13

一句话总结

本文提出了一种深度学习框架，通过在合成数据上训练神经网络，将经验协方差矩阵映射到图结构，从而学习发现稀疏图模型。该方法在真实世界中的遗传学和脑影像数据上优于传统的分析方法（如图模型Lasso），在准确性和速度方面表现更优，同时能泛化到未见过的数据分布和稀疏度水平。

ABSTRACT

We consider structure discovery of undirected graphical models from observational data. Inferring likely structures from few examples is a complex task often requiring the formulation of priors and sophisticated inference procedures. Popular methods rely on estimating a penalized maximum likelihood of the precision matrix. However, in these approaches structure recovery is an indirect consequence of the data-fit term, the penalty can be difficult to adapt for domain-specific knowledge, and the inference is computationally demanding. By contrast, it may be easier to generate training samples of data that arise from graphs with the desired structure properties. We propose here to leverage this latter source of information as training data to learn a function, parametrized by a neural network that maps empirical covariance matrices to estimated graph structures. Learning this function brings two benefits: it implicitly models the desired structure or sparsity properties to form suitable priors, and it can be tailored to the specific problem of edge structure discovery, rather than maximizing data likelihood. Applying this framework, we find our learnable graph-discovery method trained on synthetic data generalizes well: identifying relevant edges in both synthetic and real data, completely unknown at training time. We find that on genetics, brain imaging, and simulation data we obtain performance generally superior to analytical methods.

研究动机与目标

• 解决从有限样本中发现高维稀疏无向图模型结构的挑战。
• 克服惩罚最大似然方法的局限性，例如难以融入特定领域的先验知识以及计算成本高昂的问题。
• 开发一种灵活且可学习的函数，直接优化边结构恢复，而非数据似然。
• 实现在训练期间未见过的真实世界数据分布（包括多样的稀疏模式和网络拓扑）上的泛化能力。
• 在真实神经影像和基因组数据集上，性能和速度优于现有方法（如图模型Lasso和基于MCMC的方法）。

提出的方法

• 使用卷积神经网络将经验协方差矩阵映射到估计的图结构，以边指示为标签。
• 训练数据由已知稀疏图模型生成的合成数据集构成，具有可控的稀疏性和结构。
• 损失函数被显式设计用于优化边结构恢复，而非数据似然，从而可直接优化F1或AUC等性能指标。
• 通过数据生成隐式学习稀疏性和结构先验，避免了手动设计正则化惩罚项。
• 该框架支持在目标数据分布上进行迁移学习和微调，以进一步提升性能。
• 通过重采样实现的交叉验证和不确定性估计得益于其快速推理速度。

实验结果

研究问题

• RQ1 在合成数据上训练的深度神经网络能否泛化到真实世界的稀疏图模型发现任务？
• RQ2 在真实神经影像和基因组数据上，可学习的边估计器与图模型Lasso等分析方法相比，在准确性和速度方面表现如何？
• RQ3 在传统方法难以应对的小样本情况下，该学习模型能否恢复稳定且具有生物学合理性的边？
• RQ4 该模型在训练数据中未出现的图结构和稀疏度水平上，其泛化能力有多强？
• RQ5 该框架能否通过快速推理和重采样，支持高效的模型选择和不确定性量化？

主要发现

• 所提出的DeepGraph方法在真实世界遗传学和脑影像数据上达到了最先进性能，在边选择准确性方面优于图模型Lasso及其他基线方法。
• 在ABIDE自闭症和对照组数据集中，DeepGraph分别实现了0.57±0.005（对照组）和0.48±0.004（自闭症）的Spearman相关系数，显著优于图模型Lasso（0.21±0.003和0.25±0.003）。
• 在50次试验中，DeepGraph表现出更优的稳定性，边选择的方差低于其他方法，包括图模型Lasso和Ledoit-Wolfe方法。
• 该方法在未见数据分布（包括小世界结构和非拉普拉斯结构）上泛化良好，即使这些结构未出现在训练分布中。
• 在小样本情形（n=35）下，DeepGraph成功恢复了与大样本（n=368）图模型Lasso解对齐的关键边，表明其具有鲁棒性。
• DeepGraph的推理速度显著快于MCMC及其他迭代方法，支持通过重采样实现高效的不确定性估计。