[论文解读] Identifiability of Generalized Hypergeometric Distribution (GHD) Directed Acyclic Graphical Models

Gunwoong Park, Hyewon Park|arXiv (Cornell University)|May 8, 2018

Statistical and Computational Modeling被引用 7

一句话总结

本文提出了一类新的可识别有向无环图（DAG）模型，其中每个节点的条件分布属于广义超几何分布（GHD）族，包括泊松分布、二项分布、负二项分布等。作者证明了在均值与r阶阶乘矩之间存在凸关系的前提下，潜在图结构可从联合分布中完全识别，并提出了一种时间复杂度为多项式的MRS（矩比评分）算法，该算法即使在高维情形（p > n）且入度有界时，也能一致地恢复DAG结构。

ABSTRACT

We introduce a new class of identifiable DAG models where the conditional distribution of each node given its parents belongs to a family of generalized hypergeometric distributions (GHD). A family of generalized hypergeometric distributions includes a lot of discrete distributions such as the binomial, Beta-binomial, negative binomial, Poisson, hyper-Poisson, and many more. We prove that if the data drawn from the new class of DAG models, one can fully identify the graph structure. We further present a reliable and polynomial-time algorithm that recovers the graph from finitely many data. We show through theoretical results and numerical experiments that our algorithm is statistically consistent in high-dimensional settings (p>n) if the indegree of the graph is bounded, and out-performs state-of-the-art DAG learning algorithms.

研究动机与目标

• 开发一类基于广义超几何分布（GHD）的新DAG模型，用于多变量计数数据。
• 在不依赖忠实性假设的前提下，通过均值与r阶阶乘矩之间的凸关系，建立GHD DAG模型的可识别性。
• 设计一种可扩展的、时间复杂度为多项式的算法（MRS），能够从有限样本中可靠地恢复真实DAG结构。
• 在入度有界且高维情形（p > n）下，证明MRS算法的统计一致性及其优越性能。
• 通过合成数据与真实NBA球员统计数据验证该方法，表明其在因果结构恢复方面优于现有算法。

提出的方法

• 提出一类新型DAG模型，其中每个节点在其父节点给定条件下的条件分布属于GHD族，该族包括泊松分布、二项分布、负二项分布等。
• 在因果充分性假设下，通过证明GHD分布的均值与r阶阶乘矩之间存在凸关系，建立模型的可识别性。
• 提出基于均值-阶乘矩关系的评分函数，利用经验矩估计图结构的MRS（矩比评分）算法。
• 采用两阶段方法：第一阶段通过基于矩比的条件独立性检验进行骨架估计；第二阶段利用均值-阶乘矩关系的凸性性质对边进行定向。
• 引入入度有界假设，以确保在高维情形（p > n）下计算效率与统计一致性。
• 当真实条件分布未知时，采用数据驱动方法估计超泊松分布的离散参数b_j，提升在真实应用场景中的鲁棒性。

实验结果

研究问题

• RQ1 是否可以使用泊松分布、二项分布和负二项分布等广泛分布族来构建完全可识别的DAG模型？
• RQ2 当条件分布属于广义超几何分布族时，DAG模型的图结构是否可从联合分布中识别？
• RQ3 在变量数超过样本量（p > n）的情况下，多项式时间算法是否仍能恢复真实DAG结构？
• RQ4 在计数数据上，所提出的MRS算法与当前最先进方法（GES、MMHC、ODS）相比，在准确性和计算效率方面表现如何？
• RQ5 在真实计数数据中，MRS算法估计的有向边是否比现有方法更符合合理的因果关系？

主要发现

• 所提出的GHD DAG模型可基于均值与r阶阶乘矩之间的凸关系，从联合分布中完全识别，且无需依赖忠实性假设。
• MRS算法具有多项式时间复杂度，并在入度有界且高维情形（p > n）下具有统计一致性。
• 在模拟实验中，随着样本量增加，MRS算法在恢复真实图结构方面优于GES、MMHC和ODS。
• 在真实NBA球员统计数据（18个变量）上，MRS算法比ODS多识别出8条更具可解释性的有向边，且因果解释更合理（如：TotalMinutesPlayed → PersonalFouls，ThreeAttempted → ThreeMade）。
• MRS算法在边方向恢复方面优于ODS，ODS输出中存在不可解释的边，可能源于骨架估计错误，而MRS生成的结构更具因果可解释性。
• 即使真实条件分布未知，该方法仍保持鲁棒性，通过经验方差与均值之比估计离散参数，提升实际应用中的稳定性。