[论文解读] Learning to Discover Probabilistic Graphical Model Structures

Eugene Belilovsky, Kyle Kastner+2 more|arXiv (Cornell University)|May 6, 2016

Bayesian Modeling and Causal Inference参考文献 20被引用 1

一句话总结

本文提出一种深度学习方法，通过从经验协方差矩阵中发现概率图模型结构，绕过传统分析先验，通过在合成数据上训练神经网络，将协方差映射到图结构。该方法在性能上达到或优于传统分析方法（如图模型Lasso），且推理速度显著更快，并在遗传学、脑成像和模拟的真实世界数据中表现出良好的泛化能力。

ABSTRACT

In this work we consider structure discovery of undirected graphical models from observational data. Inferring likely structures from few examples is a complex task often requiring formulating priors and sophisticated inference procedures. In the setting of Gaussian Graphical Models (GGMs) a popular approach to formulating an estimator is with a penalized maximum likelihood objective on the precision matrix. This objective is often difficult to design to specifically fit ones priors and the graph structure recovery is often not explicitly possible to embed in the objective, moreover incorporating any additional assumptions often requires a great deal of research effort. By contrast, it may be easier to generate samples of data that are arise from graphs with the desired properties. We propose here to leverage this latter source of information in order to learn a function that maps from empirical covariance matrices to estimated graph structures. This learned function brings two benefits: it implicitly models the desired structure or sparsity properties to form suitable priors, and it can more directly be tailored to the specific problem of edge structure discovery. We apply this framework to several critical real world problems in structure discovery and show that it can be competitive to standard approaches such as graphical lasso, at a fraction of the execution speed. We use deep neural networks to parametrize our estimators. Experimentally, our learn able graph discovery method trained on synthetic data generalizes well to different data: identifying relevant edges in real data, completely unknown at training time. We find that on genetics, brain imaging, and simulation data we obtain competitive (and often superior) performance, compared with analytical methods.

研究动机与目标

• 为解决无向图模型（特别是高斯图模型，GGMs）中的结构发现挑战，其中传统惩罚似然方法难以针对特定结构先验进行调整。
• 克服在分析估计器（如图模型Lasso）中嵌入结构假设（如稀疏性或特定图属性）的困难。
• 开发一种数据驱动方法，通过在具有已知图属性的合成数据上训练，隐式学习理想的结构先验。
• 通过用可学习的、可微的映射替代迭代优化，实现从经验协方差矩阵到图结构的端到端映射，从而实现更快、更灵活的图结构发现。

提出的方法

• 使用深度神经网络参数化一个函数，将经验协方差矩阵映射到估计的图结构。
• 在大规模合成数据上训练网络，其中真实图结构已知，并可控制以反映所需的属性（如稀疏性或特定拓扑）。
• 利用网络通过数据分布隐式学习结构先验的能力，而非在目标函数中显式正则化。
• 通过将经验协方差矩阵作为输入，直接预测边结构，将训练好的模型应用于真实世界数据（训练期间未见过）。
• 使用端到端训练和可微损失函数，在合成验证集上优化边预测准确性。
• 将学习到的模型集成到下游任务中，如基因网络推断、脑连接图映射和基于模拟的结构恢复。

实验结果

研究问题

• RQ1 在合成数据上训练的深度神经网络能否泛化到真实世界数据，用于无向图模型的结构发现？
• RQ2 与图模型Lasso等分析方法相比，该学习到的图结构发现方法在准确性和速度方面的表现如何？
• RQ3 该模型在未使用显式正则化的情况下，能在多大程度上隐式学习结构先验（如稀疏性或特定拓扑模式）？
• RQ4 当应用于训练数据中未包含的数据领域（如遗传学或脑成像）时，该模型是否仍能保持强大的泛化性能？

主要发现

• 在真实世界数据集（包括遗传学、脑成像和模拟）中，所提出方法的性能与图模型Lasso等分析方法相比具有竞争力或更优。
• 该模型在训练期间完全未知的真实数据上表现出有效的泛化能力，展示了对未见领域的强大零样本泛化能力。
• 该方法的执行速度仅为传统方法的几分之一，实现了快速推理，且不损失准确性。
• 基于深度学习的估计器通过合成数据训练隐式学习了结构先验（如稀疏性和连通性模式），从而无需手动设计正则化。
• 在包括高维生物数据和神经影像数据在内的多种数据类型中，性能保持稳健，表明其具有广泛适用性。