[论文解读] Consistency of Causal Inference under the Additive Noise Model

Samory Kpotufe, Eleni Sgouritsa+2 more|arXiv (Cornell University)|Dec 19, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用 27

一句话总结

该论文首次在两变量设定下建立了加法噪声模型（ANM）因果推断的统计一致性结果。证明了基于核密度估计和基于熵的独立性检验的常见ANM推断方法，在温和的算法与分布尾部条件下具有一致性，确保随着样本量增加，能够正确检测因果方向。

ABSTRACT

We analyze a family of methods for statistical causal inference from sample under the so-called Additive Noise Model. While most work on the subject has concentrated on establishing the soundness of the Additive Noise Model, the statistical consistency of the resulting inference methods has received little attention. We derive general conditions under which the given family of inference methods consistently infers the causal direction in a nonparametric setting.

研究动机与目标

• 在有限样本下建立因果推断方法的统计一致性，因为迄今为止，加法噪声模型（ANM）在有限样本下缺乏理论保证。
• 确定ANM-based推断程序收敛至正确因果方向所需的最小算法与分布条件。
• 解决有限样本推断中估计噪声与输入变量之间依赖性的核心挑战。
• 将理论理解从可识别性扩展至实际推断算法的统计行为。
• 通过首先分析两变量情形，为ANM下多变量因果发现的一致性奠定基础。

提出的方法

• 采用核密度估计非参数地估计回归拟合残差（噪声项）的密度。
• 使用基于熵的独立性度量检验输入变量与估计残差之间的条件独立性。
• 应用浓度不等式与偏差界以控制密度与熵估计器的估计误差。
• 在温和的正则性与尾部条件下，建立估计残差熵收敛至结构噪声项真实熵的结果。
• 利用一致收敛结果与核函数有界导数假设，控制密度估计中的偏差。
• 通过马尔可夫不等式与熵连续性引理，证明在指定条件下，估计熵以概率收敛至真实熵。

实验结果

研究问题

• RQ1 在何种条件下，基于ANM的因果推断方法能从有限样本中一致地恢复真实因果方向？
• RQ2 回归与噪声密度估计中的估计误差如何影响ANM中独立性检验的一致性？
• RQ3 结构噪声与输入变量的分布尾部条件需满足何种程度，才能确保推断程序的一致性？
• RQ4 当ANM可识别时，应用于估计残差的基于熵的独立性测试是否能一致地检测出真实因果方向？
• RQ5 基于ANM的因果发现中，实现一致性的最小算法要求（如回归与熵估计方法）是什么？

主要发现

• 所提出的ANM推断程序具有统计一致性：随着样本量增加，该方法以概率趋于1正确识别因果方向。
• 一致性在温和条件下实现：回归函数与噪声密度必须足够平滑，且噪声尾部必须足够轻（指数或更轻）。
• 估计残差的熵以概率收敛至结构噪声项的真实熵，从而确保独立性检验的可靠性。
• 残差核密度估计的偏差由回归估计器的$L^1$-误差控制，其衰减速率为$n^{-\beta}$，其中$β = \min\{(1-\alpha)/2, \alpha\}$。
• 通过在有界支撑与尾部条件下，密度$L^1$-收敛下熵的连续性，建立了熵估计器的收敛性。
• 结果表明，由于估计噪声与输入变量之间存在固有依赖性，若无更强的分布假设，有限样本速率可能难以实现。