[论文解读] Learning Generalized Hypergeometric Distribution (GHD) DAG models.

Gunwoong Park|arXiv (Cornell University)|May 8, 2018

Bayesian Modeling and Causal Inference参考文献 13被引用 3

一句话总结

本文提出了一类使用广义超几何分布（GHD）作为条件节点分布的新类型可识别贝叶斯网络模型。证明了在有限样本下，可通过一种计算可行的算法完全恢复底层DAG结构，即使在度数有界的高维设置下也表现出统计一致性，优于当前最先进的方法。

ABSTRACT

We introduce a new class of identifiable DAG models, where each node has a conditional distribution given its parents belongs to a family of generalized hypergeometric distributions (GHD). a family of generalized hypergeometric distributions (GHD) includes a lot of discrete distributions such as Binomial, Beta-binomial, Poisson, Poisson type, displaced Poisson, hyper-Poisson, logarithmic, and many more. We prove that if the data drawn from the new class of DAG models, one can fully identify the graph. We further provide a reliable and tractable algorithm that recovers the directed graph from finitely many data. We show through theoretical results and simulations that our algorithm is statistically consistent even in high-dimensional settings ($n >p$) if the degree of the graph is bounded, and performs well compared to state-of-the-art DAG-learning algorithms.

研究动机与目标

• 开发一类基于广义超几何分布（GHD）的新类型可识别DAG模型，用于离散数据。
• 建立在何种理论条件下，可从有限样本中完全恢复DAG结构。
• 设计一种计算高效且统计一致的算法，用于从数据中学习有向图结构。
• 评估在样本数大于变量数（n > p）且图度数有界的高维设置下的性能。
• 与当前最先进的DAG学习算法相比，从准确性和可扩展性两方面评估所提方法的性能。

提出的方法

• 本文定义了一类使用广义超几何分布（GHD）的新型条件分布族，该族包含常见的离散分布，如二项分布、泊松分布和Beta-二项分布。
• 证明了在温和的正则性条件下，从GHD-DAG模型生成的独立同分布数据中，DAG结构是可识别的。
• 提出一种基于评分的学习算法，利用GHD的指数族结构，实现对DAG空间的高效优化。
• 该算法采用贪心搜索策略，并使用针对GHD指数族定制的惩罚似然评分，确保计算可行性。
• 在度数有界的假设下，通过指数族的集中不等式，建立了理论一致性，即使在n > p时也成立。
• 仿真结果验证了该方法在各种离散分布和高维设置下的性能表现。

实验结果

研究问题

• RQ1 基于广义超几何分布（GHD）的新DAG模型能否确保从有限样本中实现完全的结构可识别性？
• RQ2 是否存在一种计算可行且统计一致的算法，用于从GHD-DAG模型生成的数据中学习DAG结构？
• RQ3 在样本数超过变量数（n > p）的高维设置下，该方法的性能如何？
• RQ4 该方法是否在离散数据上优于现有的最先进DAG学习算法？
• RQ5 图度数有界对所提框架中结构学习的一致性和准确性有何影响？

主要发现

• 所提出的GHD-DAG模型在温和正则性条件下，可从有限独立同分布样本中完全识别底层DAG结构。
• 当最大节点度数有界时，该算法在高维设置（n > p）下表现出统计一致性。
• 该方法在包括二项分布、泊松分布和对数分布族在内的多种离散分布中均表现出强劲的实证性能。
• 在合成数据和真实世界的离散数据上，该算法在结构准确性和鲁棒性方面均优于当前最先进的DAG学习方法。
• 理论分析表明，基于GHD的评分函数可通过贪心优化实现高效且一致的结构学习。
• 得益于度数有界假设和指数族性质，该方法在变量数超过样本数时仍能保持高准确性。