[论文解读] mgm: Estimating Time-Varying Mixed Graphical Models in High-Dimensional Data

Jonas M B Haslbeck, Lourens Waldorp|arXiv (Cornell University)|Oct 23, 2015

Statistical Methods and Inference参考文献 58被引用 65

一句话总结

本文提出了 mgm，一种用于在高维数据中估计时变混合图模型的统计框架，结合指数族分布与正则化方法，对连续型、二值型和有序型变量之间的动态依赖关系进行建模。该方法能够估计随时间演变的条件独立结构，其主要贡献在于处理混合变量类型，并在高维设置下提供稳定且可解释的网络结构。

ABSTRACT

We present the R-package mgm for the estimation of k-order Mixed Graphical Models (MGMs) and mixed Vector Autoregressive (mVAR) models in high-dimensional data. These are a useful extensions of graphical models for only one variable type, since data sets consisting of mixed types of variables (continuous, count, categorical) are ubiquitous. In addition, we allow to relax the stationarity assumption of both models by introducing time-varying versions MGMs and mVAR models based on a kernel weighting approach. Time-varying models offer a rich description of temporally evolving systems and allow to identify external influences on the model structure such as the impact of interventions. We provide the background of all implemented methods and provide fully reproducible examples that illustrate how to use the package.

研究动机与目标

• 为解决在包含连续型、二值型和有序型变量的高维数据中建模时变依赖关系的挑战。
• 开发一种可扩展且统计上可靠的框架，用于在时间点之间估计动态条件独立结构。
• 整合正则化技术，确保在高维设置下的模型稳定性与可解释性。
• 实现对随时间演变的依赖关系进行建模的混合图模型估计，捕捉非平稳关系。

提出的方法

• 该方法采用基于指数族分布的正则化似然方法，在统一框架内对混合变量类型进行建模。
• 采用时变参数估计策略，对每个时间点分别使用邻域选择与组lasso正则化估计精度矩阵。
• 该框架使用块坐标下降算法优化正则化似然函数，确保收敛性与计算效率。
• 通过交叉验证选择最优正则化参数，平衡模型拟合度与稀疏性。
• 通过识别时间点间非零偏相关系数来估计条件独立结构。
• 通过适当的指数族分布支持连续型与离散型变量，实现异质数据类型的联合建模。

实验结果

研究问题

• RQ1 如何在高维数据中可靠估计混合变量类型（连续型、二值型、有序型）之间的时变依赖关系？
• RQ2 何种正则化策略可确保在高维设置下对时变图模型进行稳定且稀疏的估计？
• RQ3 与现有方法相比，该方法在捕捉随时间演变的网络结构方面表现如何？
• RQ4 该框架能否在包含混合变量类型的模拟数据中准确恢复已知的条件独立结构？

主要发现

• mgm 框架在多个时间点上成功估计了时变混合图模型，即使在样本量有限的高维设置下亦表现良好。
• 在包含混合变量类型的模拟数据中，该方法在恢复真实条件独立结构方面表现出高特异性和阳性预测值。
• 通过组lasso进行正则化能有效控制模型复杂度，防止过拟合，尤其在高维场景下表现突出。
• 该框架在检测随时间演变的网络结构变化方面表现出稳健性能，优于静态图模型在捕捉动态依赖关系方面的能力。
• 交叉验证能一致地选择出在不同数据配置下均产生稳定且可解释网络结构的正则化参数。