[论文解读] Estimation of linear, non-gaussian causal models in the presence of confounding latent variables

Patrik O. Hoyer, Shohei Shimizu+1 more|ArXiv.org|Mar 9, 2006

Blind Source Separation Techniques参考文献 9被引用 13

一句话总结

该论文提出了一种方法，通过利用超完备独立成分分析（ICA）和结构约束，在存在未观测混杂变量的情况下估计线性、非高斯因果模型。研究表明，尽管存在潜藏混杂因子时真实因果结构并非唯一可识别，但仅存在有限组观测等价和因果等价的模型可解释数据，模拟实验验证了该方法在基于ICA的重采样与模型推断下的实际可行性。

ABSTRACT

The estimation of linear causal models (also known as structural equation models) from data is a well-known problem which has received much attention in the past. Most previous work has, however, made an explicit or implicit assumption of gaussianity, limiting the identifiability of the models. We have recently shown (Shimizu et al, 2005; Hoyer et al, 2006) that for non-gaussian distributions the full causal model can be estimated in the no hidden variables case. In this contribution, we discuss the estimation of the model when confounding latent variables are present. Although in this case uniqueness is no longer guaranteed, there is at most a finite set of models which can fit the data. We develop an algorithm for estimating this set, and describe numerical simulations which confirm the theoretical arguments and demonstrate the practical viability of the approach. Full Matlab code is provided for all simulations.

研究动机与目标

• 解决在存在未观测混杂变量时，线性、非高斯模型中的因果发现挑战。
• 将先前无潜藏混杂因子的可识别LiNGAM模型研究扩展至存在隐藏共同原因的场景。
• 开发一种实用方法，用于估计与观测数据一致的观测等价和因果等价模型集合。
• 通过模拟实验和小规模数据演示验证该方法，展示其对估计误差的鲁棒性。
• 为未来软件工具的开发奠定基础，以实现在存在潜藏混杂因子的真实观测数据中的因果发现。

提出的方法

• 将数据生成过程建模为具有未观测混杂变量的线性、非高斯、无环结构方程模型（LiNGAM）。
• 使用超完备独立成分分析（ICA）估计表示观测变量与潜变量之间线性关系的基矩阵。
• 应用基于重采样的推断程序，识别所有与数据生成过程在观测和因果上等价的可能模型。
• 利用标准模型表示法简化并比较观测等价结构，减少冗余。
• 利用稳定性和忠实性假设，确保因果效应不会相互抵消，从而在原则上实现可识别性。
• 在小规模模拟中采用高斯混合框架进行ICA估计，假设已知扰动分布以验证概念可行性。

实验结果

研究问题

• RQ1 当存在混杂潜变量时，能否估计线性、非高斯因果模型？
• RQ2 在存在潜藏混杂因子的情况下，能够解释同一组观测数据的观测等价和因果等价模型集合是什么？
• RQ3 该估计方法对ICA基矩阵估计误差的鲁棒性如何？
• RQ4 当观测变量之间不存在条件独立性时，该方法能否识别出正确的因果结构？
• RQ5 当前ICA算法在估计高维潜变量模型的超完备基时存在哪些实际限制？

主要发现

• 当存在潜藏混杂因子时，真实因果模型并非唯一可识别，但仅存在有限组观测等价和因果等价模型可解释数据。
• 模拟结果表明，所提出的基于重采样的推断方法即使在ICA估计存在噪声的情况下，仍能成功恢复与真实生成模型因果上接近的模型。
• 在小规模数据示例中，当实际不存在观测变量之间的直接连接时，该方法正确识别出无连接关系。
• 该方法可在观测变量之间无条件独立性关系的数据中识别出正确的网络结构——这是标准约束方法失效的情形。
• 当估计误差导致零系数误分类时，该方法会失效，凸显其对ICA准确度的敏感性，与约束方法类似。
• 该框架在小到中等规模模型中具有实际可行性，尤其当数据符合独立子空间（ISA）结构时，可在子空间内实现局部ICA估计。