[论文解读] High-Dimensional Joint Estimation of Multiple Directed Gaussian Graphical Models

Yuhao Wang, Santiago Segarra+1 more|arXiv (Cornell University)|Apr 3, 2018

Statistical Methods and Inference参考文献 42被引用 7

一句话总结

本文提出一种基于ℓ₀-惩罚最大似然估计的联合估计框架，用于多个高维有向高斯图形模型的联合估计，利用相关数据集之间的共享结构（例如不同组织中的基因表达）。该框架证明了联合估计相比独立估计具有更快的收敛速度，并提供了理论一致性保证，实际实现通过结合贪心等价搜索与Lasso选择的jointGES算法完成。

ABSTRACT

We consider the problem of jointly estimating multiple related directed acyclic graph (DAG) models based on high-dimensional data from each graph. This problem is motivated by the task of learning gene regulatory networks based on gene expression data from different tissues, developmental stages or disease states. We prove that under certain regularity conditions, the proposed $\ell_0$-penalized maximum likelihood estimator converges in Frobenius norm to the adjacency matrices consistent with the data-generating distributions and has the correct sparsity. In particular, we show that this joint estimation procedure leads to a faster convergence rate than estimating each DAG model separately. As a corollary, we also obtain high-dimensional consistency results for causal inference from a mix of observational and interventional data. For practical purposes, we propose \emph{jointGES} consisting of Greedy Equivalence Search (GES) to estimate the union of all DAG models followed by variable selection using lasso to obtain the different DAGs, and we analyze its consistency guarantees. The proposed method is illustrated through an analysis of simulated data as well as epithelial ovarian cancer gene expression data.

研究动机与目标

• 解决从高维数据（如不同组织或疾病状态下的基因表达）中估计多个相关有向无环图（DAG）模型的挑战。
• 通过利用相关DAG模型之间的共享结构特征，而非独立估计每个模型，以提高估计精度和收敛速度。
• 在高维渐近条件下，为联合估计提供理论一致性保证，包括Frobenius范数收敛和正确稀疏性恢复。
• 通过证明干预BIC评分是联合ℓ₀-惩罚最大似然估计方法的特例，将框架扩展至干预数据。
• 开发一种实用的算法jointGES，结合贪心等价搜索与基于Lasso的变量选择，实现多个相关模型的可扩展估计。

提出的方法

• 提出一种联合ℓ₀-惩罚最大似然估计器（MLE），通过在相关数据集之间共享结构先验，同时估计多个DAG模型。
• 引入一个加权目标函数，将K个相关数据集的似然项与边集的ℓ₀惩罚相结合，以促进稀疏性和共享结构。
• 开发jointGES：一种两阶段算法，首先使用贪心等价搜索（GES）估计所有DAG结构的并集，然后对每个数据集应用Lasso回归以识别个体DAG。
• 在正则性条件下推导理论一致性，包括有界特征值和稀疏性约束，确保Frobenius范数收敛至真实邻接矩阵。
• 使用随机事件分解（ℰ₁, ℰ₂, ℰ₃）来界定估计误差并证明一致性，依赖于集中不等式和高维概率工具。
• 对联合估计器应用置换不变性约束变换，并推导出估计器以高概率恢复正确图结构的条件。

实验结果

研究问题

• RQ1 在高维设置下，多个相关DAG模型的联合估计是否能比独立估计实现更快的收敛速度？
• RQ2 在何种理论条件下，联合ℓ₀-惩罚最大似然估计能一致地恢复真实邻接矩阵和边集？
• RQ3 如何利用相关数据集（如不同组织或疾病状态）之间的共享结构信息来提高估计精度？
• RQ4 该联合估计框架能否扩展至包含干预数据（如基因敲除实验），其与现有干预评分标准的关系如何？
• RQ5 何种实用的算法方法能确保高维DAG估计在多个相关模型中的一致性与可扩展性？

主要发现

• 联合ℓ₀-惩罚最大似然估计在渐近情况下比独立估计具有更快的收敛速度，且随着相关数据集数量的增加，收敛速度进一步提升。
• 在有界特征值和稀疏性等正则性条件下，联合估计器以高概率在Frobenius范数下收敛至真实邻接矩阵。
• 该方法能正确恢复真实DAG的稀疏结构，当惩罚参数适当调节时，估计的边集以高概率与真实边集一致。
• jointGES算法通过先利用GES识别所有DAG的并集，再对每个数据集应用Lasso回归来精炼个体模型，实现一致估计。
• 先前工作中提出的干预BIC评分函数被证明是所提联合ℓ₀-惩罚最大似然估计框架的特例，验证了其理论基础。
• 在模拟数据和卵巢癌基因表达数据上的实证评估表明，相比独立估计，该方法在估计精度和鲁棒性方面均有显著提升。