[论文解读] Estimating a Causal Order among Groups of Variables in Linear Models

Doris Entner, Patrik O. Hoyer|arXiv (Cornell University)|Jul 9, 2012

Bayesian Modeling and Causal Inference参考文献 8被引用 4

一句话总结

该论文提出了一种基于线性非高斯模型估计多维变量组之间因果顺序的方法，将LiNGAM扩展至向量值组。该方法引入了基于独立性检验、成对度量和正则化的算法，相较于基于均值的启发式方法（如均值LiNGAM），在小样本和高维组情况下表现更优。

ABSTRACT

The machine learning community has recently devoted much attention to the problem of inferring causal relationships from statistical data. Most of this work has focused on uncovering connections among scalar random variables. We generalize existing methods to apply to collections of multi-dimensional random vectors, focusing on techniques applicable to linear models. The performance of the resulting algorithms is evaluated and compared in simulations, which show that our methods can, in many cases, provide useful information on causal relationships even for relatively small sample sizes.

研究动机与目标

• 解决现有因果发现方法依赖聚合后的标量变量所带来的局限性，这些方法在大样本极限下可能丢失信息并导致错误结果。
• 开发计算高效的算法，用于估计变量组之间的因果顺序，利用已知的组结构以避免指数级复杂度。
• 将标量变量的因果发现方法（如LiNGAM、DirectLiNGAM）扩展至多维随机向量，同时保持统计一致性。
• 在有限样本大小和高维设置下评估性能，特别是当组内依赖性和非高斯性存在时。

提出的方法

• 通过将数据生成过程建模为具有下块三角系数矩阵的线性方程组，将LiNGAM框架适配至变量组。
• 采用两阶段算法：首先通过独立性检验识别一个前因组，然后迭代地去除其影响以恢复因果顺序。
• 提出三种变体：成对度量法（基于残差之间的独立性）、迹方法（利用协方差矩阵的迹）和GroupDirectLiNGAM（DirectLiNGAM的块结构扩展）。
• 在高维、小样本场景下，应用L²-正则化以稳定协方差矩阵估计。
• 采用子组采样和交叉验证，以在样本量相对于维度较小时提高鲁棒性。
• 利用非高斯性和条件独立性检验识别因果顺序，避免约束方法中常见的马尔可夫等价性问题。

实验结果

研究问题

• RQ1 当存在组内依赖性和非高斯性时，能否从有限样本中可靠估计多维变量组之间的因果顺序？
• RQ2 组级因果发现方法与先将变量聚合为标量的启发式方法相比，性能如何？
• RQ3 在高维、小样本设置下，正则化和子组采样在多大程度上能改善因果顺序估计？
• RQ4 当组内误差项存在依赖性、违反标准ICA假设时，所提出方法是否仍能保持一致性和准确性？

主要发现

• 成对度量法和GroupDirectLiNGAM方法在模拟中误差率最低，且随着样本量增加，性能显著提升。
• 基于均值的DirectLiNGAM方法表现不优于随机猜测，表明变量聚合会导致因果信息丢失。
• 改进的ICA-LiNGAM方法优于随机但随着样本量增加无法收敛，可能由于违反了i.i.d.误差假设。
• 子组采样可降低误差率，尤其在小样本情况下，其中朴素成对度量法虽初始表现占优但缺乏一致性。
• L²-正则化在低样本情形下提升了迹方法和成对度量法的稳定性，尤其在协方差矩阵估计不佳时效果显著。
• 所提方法在所有测试配置中均一致优于基线方法，包括每组含6或12个变量的5组模型，样本量为200–1000。