[论文解读] Learning Quadratic Variance Function (QVF) DAG models via OverDispersion Scoring (ODS)

Gunwoong Park, Garvesh Raskutti|arXiv (Cornell University)|Apr 28, 2017

Bayesian Modeling and Causal Inference参考文献 23被引用 12

一句话总结

该论文提出了二次方差函数（QVF）DAG模型，其中节点方差是其均值的二次函数，从而在因果结构学习中实现可识别性。该研究提出了一种过离散度评分（ODS）算法，利用道德化图的稀疏性与过离散度特性，即使在高维设置下（$p > n$），也能一致地学习大规模DAG，具备理论保证，并且在性能上优于当前最先进的方法。

ABSTRACT

Learning DAG or Bayesian network models is an important problem in multi-variate causal inference. However, a number of challenges arises in learning large-scale DAG models including model identifiability and computational complexity since the space of directed graphs is huge. In this paper, we address these issues in a number of steps for a broad class of DAG models where the noise or variance is signal-dependent. Firstly we introduce a new class of identifiable DAG models, where each node has a distribution where the variance is a quadratic function of the mean (QVF DAG models). Our QVF DAG models include many interesting classes of distributions such as Poisson, Binomial, Geometric, Exponential, Gamma and many other distributions in which the noise variance depends on the mean. We prove that this class of QVF DAG models is identifiable, and introduce a new algorithm, the OverDispersion Scoring (ODS) algorithm, for learning large-scale QVF DAG models. Our algorithm is based on firstly learning the moralized or undirected graphical model representation of the DAG to reduce the DAG search-space, and then exploiting the quadratic variance property to learn the causal ordering. We show through theoretical results and simulations that our algorithm is statistically consistent in the high-dimensional p>n setting provided that the degree of the moralized graph is bounded and performs well compared to state-of-the-art DAG-learning algorithms.

研究动机与目标

• 为解决大规模DAG结构学习中的可识别性与计算复杂性问题，提出一类具有信号依赖方差的新模型。
• 开发一种可扩展算法，利用过离散度与图稀疏性来缩小DAG的搜索空间。
• 在道德化图度数有界的前提下，为高维情形（$p > n$）下的DAG学习提供理论一致性保证。
• 在低维与高维合成数据上，通过实证比较证明ODS算法相较于当前最先进的DAG学习方法具有更优的性能。

提出的方法

• 提出QVF DAG模型，其中每个节点的条件分布方差是其均值的二次函数，涵盖泊松、二项、伽马与指数分布族。
• 提出过离散度评分（ODS）算法，首先学习道德化无向图以缩小DAG的搜索空间。
• 利用过离散度——即方差依赖于均值——作为关键非对称性，以识别因果顺序，从而在无需独立同分布噪声假设下实现可识别性。
• 在道德化图上应用$oldsymbol{ heta}$-正则化似然估计，结合$oldsymbol{ heta}$-依赖惩罚，通过稀疏回归恢复父节点集合。
• 运用均值定理与集中不等式，界定估计误差并确保父节点集合恢复的符号一致性。
• 结合理论分析与模拟研究，验证在高维与稀疏设置下的一致性与性能表现。

实验结果

研究问题

• RQ1 QVF DAG模型中，基于均值的方差是否能为从观测数据中进行因果结构学习提供可识别性？
• RQ2 在使用过离散度与图稀疏性的情况下，是否可能在$p > n$时实现DAG学习的统计一致性？
• RQ3 ODS算法在大规模图上的准确率与可扩展性方面，相较于当前最先进的DAG学习方法表现如何？
• RQ4 在高维设置下，何种理论条件可确保ODS算法以高概率恢复真实DAG结构？

主要发现

• 当道德化图的度数有界时，ODS算法在高维设置（$p > n$）下实现统计一致性。
• 理论分析表明，若样本量$n$满足$n \geq D'\max\{(d\log^2\eta)^{1/(a-2\kappa_2)}, (d\log^3\eta)^{1/(a-\kappa_2)}\}$（其中$D'$、$a \in (2\kappa_2, 1/2)$为常数），ODS算法以高概率恢复真实DAG。
• 该算法在父节点集合恢复中实现符号一致性，满足$P(\widehat{G} = G) \geq 1 - D_1 d p \exp(-D_2 n^{1-2a}) - D_3 \eta^{-1}$。
• 模拟实验表明，ODS在低维与高维设置下均优于当前最先进的DAG学习算法，包括节点数达5000的图。
• 该方法成功利用过离散度识别因果顺序，实现可识别性，即使在噪声方差依赖于均值的情况下也适用，而这是先前方法未覆盖的情形。
• 对估计误差与残差项的理论界确保了算法以高概率正确排除非父节点变量。