[论文解读] Identifying confounders using additive noise models

Dominik Janzing, Jonas Peters+2 more|arXiv (Cornell University)|May 9, 2012

Bayesian Modeling and Causal Inference参考文献 13被引用 42

一句话总结

本文提出一种方法，利用加性噪声模型识别两个观测变量的潜在混杂因子——隐藏的共同原因。在温和的正则性条件下，该方法证明了混杂因子可被唯一恢复（至重参数化程度），并提供了实用的算法，在合成数据和真实世界数据上均成功估计了混杂因子。

ABSTRACT

We propose a method for inferring the existence of a latent common cause ('confounder') of two observed random variables. The method assumes that the two effects of the confounder are (possibly nonlinear) functions of the confounder plus independent, additive noise. We discuss under which conditions the model is identifiable (up to an arbitrary reparameterization of the confounder) from the joint distribution of the effects. We state and prove a theoretical result that provides evidence for the conjecture that the model is generically identifiable under suitable technical conditions. In addition, we propose a practical method to estimate the confounder from a finite i.i.d. sample of the effects and illustrate that the method works well on both simulated and real-world data.

研究动机与目标

• 解决检测影响两个或多个观测变量的未观测共同原因（混杂因子）的挑战。
• 开发一种方法，仅从观测效应的联合分布中识别混杂因子，而无需实验干预。
• 建立在观测数据中通过加性噪声模型识别混杂因子的条件。
• 提出一种实用的估计算法，从有限独立同分布样本中恢复混杂因子。
• 在模拟数据和真实世界数据集上验证该方法，展示其鲁棒性和准确性。

提出的方法

• 将观测变量建模为潜在混杂因子的非线性函数，外加独立的加性噪声。
• 假设结构方程为加性形式，且噪声与混杂因子无关，从而通过分布约束实现识别。
• 采用基于评分的优化方法，通过在加性噪声假设下最大化似然函数来估计混杂因子。
• 使用非参数回归框架，对混杂因子与观测效应之间的函数关系进行建模。
• 应用类似去卷积的程序，从观测数据的噪声分量中分离出混杂因子。
• 实施自助法或交叉验证策略，以评估估计混杂因子的稳定性和可靠性。

实验结果

研究问题

• RQ1 在何种条件下，可从两个观测变量的联合分布中唯一识别出潜在混杂因子？
• RQ2 当混杂因子未被观测且与效应呈非线性关系时，加性噪声模型是否仍能实现混杂因子的恢复？
• RQ3 在实际中，如何从有限独立同分布样本中估计混杂因子？
• RQ4 该方法在真实世界数据上的有限样本性质和鲁棒性如何？
• RQ5 在存在测量误差或模型误设的情况下，该模型是否仍可识别？

主要发现

• 在结构函数具有光滑性和非退化性等温和正则性条件下，混杂因子可从效应的联合分布中普遍识别。
• 在模拟实验中，即使函数关系高度非线性，该方法仍能成功恢复混杂因子。
• 真实世界数据的实证结果表明，估计的混杂因子能捕捉到有意义的潜在结构，如共享环境因素。
• 当加性噪声假设成立时，该方法在混杂因子检测方面优于基线方法。
• 理论分析支持如下猜想：在适当的理论条件下，识别性在混杂因子的重参数化下依然成立。
• 实用算法在有限样本上收敛可靠，并对中等水平的噪声表现出鲁棒性。