[论文解读] Learning linear non-Gaussian directed acyclic graph with diverging number of nodes

Ruixuan Zhao, Xin He+1 more|arXiv (Cornell University)|Nov 1, 2021

Bayesian Modeling and Causal Inference参考文献 33被引用 4

一句话总结

该论文提出了一种新颖且高效的方法，用于在节点数量随样本量发散的高维设置下学习线性非高斯有向无环图（DAG）。通过引入一种拓扑层框架，该方法能够通过精确的精度矩阵估计和独立性检验，实现对DAG结构的精确、自底向上的重构，从而在无需依赖马尔可夫性或父节点马尔可夫性假设的情况下，实现因果结构的一致恢复。

ABSTRACT

Acyclic model, often depicted as a directed acyclic graph (DAG), has been widely employed to represent directional causal relations among collected nodes. In this article, we propose an efficient method to learn linear non-Gaussian DAG in high dimensional cases, where the noises can be of any continuous non-Gaussian distribution. This is in sharp contrast to most existing DAG learning methods assuming Gaussian noise with additional variance assumptions to attain exact DAG recovery. The proposed method leverages a novel concept of topological layer to facilitate the DAG learning. Particularly, we show that the topological layers can be exactly reconstructed in a bottom-up fashion, and the parent-child relations among nodes in each layer can also be consistently established. More importantly, the proposed method does not require the faithfulness or parental faithfulness assumption which has been widely assumed in the literature of DAG learning. Its advantage is also supported by the numerical comparison against some popular competitors in various simulated examples as well as a real application on the global spread of COVID-19.

研究动机与目标

• 解决节点数量随样本量增长的高维线性非高斯DAG学习挑战。
• 克服现有方法依赖高斯噪声、同方差或马尔可夫性等强假设的局限性。
• 为高维设置下的精确DAG恢复开发一种计算高效的算法。
• 在无需马尔可夫性假设的前提下，提供对拓扑层和父子关系一致恢复的理论保证。

提出的方法

• 提出一种新颖的拓扑层概念，将节点划分为若干层，使得任一节点的父节点均位于更高层，从而通过构造保证无环性。
• 通过精度矩阵估计和条件独立性检验，自底向上重构拓扑层。
• 利用估计的精度矩阵直接识别每层内的父子关系。
• 在稀疏性假设下，采用图模型Lasso进行高维精度矩阵估计。
• 应用硬阈值化程序，基于估计的部分相关系数优化边检测。
• 通过避免对所有可能DAG的穷举搜索，显著降低复杂度，相比先前方法实现更高的计算效率。

实验结果

研究问题

• RQ1 在节点数量发散的高维设置下，线性非高斯DAG中的拓扑层能否被精确重构？
• RQ2 所提出的方法是否能在不依赖马尔可夫性或父节点马尔可夫性假设的情况下，实现对真实DAG结构的一致恢复？
• RQ3 在准确性和计算效率方面，该方法与现有最先进DAG学习算法相比表现如何？
• RQ4 该方法能否在具有复杂依赖关系的真实数据中成功恢复因果结构，例如COVID-19的全球传播？
• RQ5 调优参数和数据生成机制对有限样本下该方法性能的影响如何？

主要发现

• 所提出的方法（命名为TL，即拓扑层方法）在高维设置下实现了对拓扑层的精确重构，如定理1和推论1所证明。
• 父子关系与层重构同步一致恢复，如推论2所示，仅依赖于估计的精度矩阵。
• 该方法无需马尔可夫性或父节点马尔可夫性假设，因此在比大多数现有方法更宽松的统计条件下仍具适用性。
• 在模拟实验中，TL在结构汉明距离和F1分数方面优于MDirect和LiNGAM等竞争方法，尤其在高维和稀疏设置下表现更优。
• 在真实世界应用中分析COVID-19全球传播数据时，TL在99个国家间识别出736条有向边，主要枢纽包括意大利、英国、韩国和美国——与早期实际传播模式一致。
• 该方法的计算复杂度显著低于指数级方法，使其在高维设置下具备可扩展的学习能力。