[论文解读] Adaptive Penalized Estimation of Directed Acyclic Graphs From Categorical Data

Jiaying Gu, Fei Fu+1 more|arXiv (Cornell University)|Mar 10, 2014

Bayesian Modeling and Causal Inference参考文献 45被引用 6

一句话总结

该论文提出了一种使用自适应组Lasso的惩罚似然方法，用于从分类数据中估计稀疏有向无环图（DAG），通过多logit回归建模条件分布，并利用分块坐标下降算法强制实现无环性。该方法在结构和参数估计上具有一致性，在干预和高维观测设置下均优于现有方法。

ABSTRACT

We develop in this article a penalized likelihood method to estimate sparse Bayesian networks from categorical data. The structure of a Bayesian network is represented by a directed acyclic graph (DAG). We model the conditional distribution of a node given its parents by multi-logit regression and estimate the structure of a DAG via maximizing a regularized likelihood. The adaptive group Lasso penalty is employed to encourage sparsity by selecting grouped dummy variables encoding the level of a factor. We develop a blockwise coordinate descent algorithm to solve the penalized likelihood problem subject to the acyclicity constraint of a DAG. When intervention data are available, our method may construct a causal network, in which a directed edge represents a causal relation. We apply our method to various simulated networks and a real biological network. The results show that our method is very competitive, compared to other existing methods, in DAG estimation from both interventional and high-dimensional observational data. We also establish consistency in parameter and structure estimation for our method when the number of nodes is fixed.

研究动机与目标

• 开发一种使用惩罚似然方法从分类数据中估计稀疏贝叶斯网络的方法。
• 通过在估计过程中引入无环性约束，强制实现DAG结构。
• 在存在干预数据时，实现因果网络学习。
• 在节点数固定的情况下，实现参数和结构估计的一致性。
• 在高维观测和干预数据设置下，提升稀疏性和准确性。

提出的方法

• 使用分类变量上的多logit回归，建模每个节点给定其父节点的条件分布。
• 对代表因子水平的分组虚拟变量应用自适应组Lasso惩罚，促进组级别的稀疏性。
• 将估计问题表述为带有无环性约束的正则化似然最大化问题。
• 开发一种分块坐标下降算法，迭代更新参数的同时保持DAG约束。
• 利用无环性约束，确保优化过程中估计图始终保持为有效DAG。
• 利用干预数据推断因果关系，其中有向边表示因果效应。

实验结果

研究问题

• RQ1 使用自适应组Lasso的惩罚似然方法能否有效估计分类数据中的DAG结构？
• RQ2 该方法在高维观测数据中恢复真实DAG结构的性能如何？
• RQ3 当存在干预数据用于因果发现时，该方法在多大程度上保持准确性？
• RQ4 随着样本量增加，该方法是否在参数和结构估计上均实现一致性？
• RQ5 在稀疏性和估计准确性方面，该方法与现有方法相比表现如何？

主要发现

• 在节点数固定且满足正则性条件时，该方法在参数和结构估计上具有一致性。
• 模拟网络的实证结果表明，该方法在恢复真实DAG结构方面表现强劲，尤其在高维设置下。
• 在干预和观测数据上，该方法在结构准确性方面优于现有方法。
• 自适应组Lasso能有效通过选择对应于因子水平的整个虚拟变量组来促进稀疏性。
• 分块坐标下降算法在优化过程中高效处理了无环性约束。
• 当存在干预数据时，该方法能成功构建因果网络，正确识别有向因果关系。