[论文解读] GroupLiNGAM: Linear non-Gaussian acyclic models for sets of variables

Yoshinobu Kawahara, Kenneth A. Bollen+2 more|arXiv (Cornell University)|Jun 24, 2010

Bayesian Modeling and Causal Inference参考文献 14被引用 12

一句话总结

本文提出 GroupLiNGAM，一种非高斯、无环的变量集模型，通过利用变量子集与残差之间的独立性检验，将 LiNGAM 扩展至处理存在未观测混杂因素的链图，从而识别变量分组顺序。该方法可在存在潜在混杂因素的复杂系统中实现因果结构发现，在真实世界数据上展现出与领域知识更高的契合度，优于现有方法。

ABSTRACT

Finding the structure of a graphical model has been received much attention in many fields. Recently, it is reported that the non-Gaussianity of data enables us to identify the structure of a directed acyclic graph without any prior knowledge on the structure. In this paper, we propose a novel non-Gaussianity based algorithm for more general type of models; chain graphs. The algorithm finds an ordering of the disjoint subsets of variables by iteratively evaluating the independence between the variable subset and the residuals when the remaining variables are regressed on those. However, its computational cost grows exponentially according to the number of variables. Therefore, we further discuss an efficient approximate approach for applying the algorithm to large sized graphs. We illustrate the algorithm with artificial and real-world datasets.

研究动机与目标

• 为解决 LiNGAM 在处理未观测混杂因素方面的局限性，将其推广至链图。
• 开发一种结构学习算法，无需先验知识即可识别变量分组顺序，同时利用非高斯性。
• 通过引入近似搜索策略，为大规模图提供可扩展的解决方案。
• 在人工数据与真实世界数据上对方法进行实证验证，展示其与领域知识更高的契合度。

提出的方法

• 提出 GroupLiNGAM 模型，作为链图中不相交变量子集的线性非高斯无环模型。
• 采用分块结构误差模型，其中各块之间的外部影响为非高斯且相互独立。
• 采用一种迭代算法，通过检验某子集与对其他变量回归所得残差之间的独立性，来识别外生组。
• 在邻接矩阵 B 和混合矩阵 A 上施加下块三角结构，以确保无环性。
• 引入一种近似方法，通过限制评估的子集数量，降低指数级计算成本。
• 使用调优参数 δ 控制分组划分的停止条件，并采用 k-近邻方法估计互信息。

实验结果

研究问题

• RQ1 能否利用非高斯性在存在未观测混杂因素的链图中识别因果结构？
• RQ2 如何将 LiNGAM 框架扩展至处理变量集合而非单个变量？
• RQ3 与 DirectLiNGAM 和 ICA-LiNGAM 等现有算法相比，所提方法在真实世界数据上的表现如何？
• RQ4 如何降低精确算法在大规模图上的计算成本？
• RQ5 当存在混杂因素时，该方法是否能生成与领域知识一致的变量排序？

主要发现

• GroupLiNGAM 在真实世界数据集（代际职业流动）中成功识别出与领域知识一致的因果排序，优于 DirectLiNGAM 和 ICA-LiNGAM。
• 当同时包含儿子收入（x₂）和兄弟姐妹数量（x₆）时，GroupLiNGAM 仍能生成可解释的排序，而其他方法则产生不一致或不合理的因果方向。
• 若省略 x₂ 和 x₆，则 GroupLiNGAM 生成一致的因果顺序：{1,3} < {4,5}，反映出父亲的教育和职业先于儿子的结果。
• 该方法正确识别出儿子教育（x₅）导致儿子职业（x₄），而 DirectLiNGAM 未能识别该方向。
• ICA-LiNGAM 错误估计儿子教育导致父亲变量，表明其无法有效处理潜在混杂因素。
• 近似方法使该方法可应用于更大规模图，尽管准确性依赖于调优参数 δ 和搜索策略。