[论文解读] A Distribution Free Conditional Independence Test with Applications to Causal Discovery

Zhanrui Cai, Runze Li+1 more|arXiv (Cornell University)|May 17, 2021

Bayesian Modeling and Causal Inference参考文献 26被引用 16

一句话总结

该论文提出了一种基于Rosenblatt变换的分布自由条件独立性检验方法，通过变换变量将条件独立性转化为相互独立性，从而实现一种鲁棒、计算高效的指数，取值范围为0到1，且对单调变换不变。该方法在多种数据类型下均表现出高统计功效并保持了对第一类错误的良好控制，在因果发现模拟中优于现有方法。

ABSTRACT

This paper is concerned with test of the conditional independence. We first establish an equivalence between the conditional independence and the mutual independence. Based on the equivalence, we propose an index to measure the conditional dependence by quantifying the mutual dependence among the transformed variables. The proposed index has several appealing properties. (a) It is distribution free since the limiting null distribution of the proposed index does not depend on the population distributions of the data. Hence the critical values can be tabulated by simulations. (b) The proposed index ranges from zero to one, and equals zero if and only if the conditional independence holds. Thus, it has nontrivial power under the alternative hypothesis. (c) It is robust to outliers and heavy-tailed data since it is invariant to conditional strictly monotone transformations. (d) It has low computational cost since it incorporates a simple closed-form expression and can be implemented in quadratic time. (e) It is insensitive to tuning parameters involved in the calculation of the proposed index. (f) The new index is applicable for multivariate random vectors as well as for discrete data. All these properties enable us to use the new index as statistical inference tools for various data. The effectiveness of the method is illustrated through extensive simulations and a real application on causal discovery.

研究动机与目标

• 开发一种对非正态性和非线性依赖关系具有鲁棒性的条件独立性检验方法。
• 解决现有检验方法依赖渐近分布或自助抽样所带来的计算成本高的问题。
• 构建一个具有分布自由零分布的检验方法，以实现可靠临界值的查表。
• 确保该检验方法适用于连续和离散的多元数据。
• 在模型误设和重尾数据条件下，提升因果发现中的统计功效和鲁棒性。

提出的方法

• 该方法利用Rosenblatt变换将条件独立性 $X \perp\!\!\!\perp Y \mid Z$ 转化为变换后变量 $U = F_{X|Z}(X|Z)$、$V = F_{Y|Z}(Y|Z)$ 和 $W = F_Z(Z)$ 之间的相互独立性。
• 提出一种新的指数 $\rho$ 来度量 $U$、$V$ 和 $W$ 之间的相互依赖性，该指数具有闭式表达式，对严格单调变换保持对称性和不变性。
• 指数 $\rho$ 的取值范围为0到1，当且仅当 $U$、$V$ 和 $W$ 相互独立时等于0，从而在原假设下实现精确的大小控制。
• 检验统计量在原假设下为分布自由，因此可通过模拟预先生成临界值表，无需使用自助抽样。
• 该方法计算效率高，时间复杂度为二次方，且对调参不敏感。
• 通过相同的变换与指数框架，该方法可扩展至多元和离散随机向量。

实验结果

研究问题

• RQ1 能否构建一种真正分布自由的条件独立性检验方法，且不依赖渐近近似或自助抽样？
• RQ2 如何在对单调变换不变且对异常值鲁棒的前提下，度量变换后变量之间的相互依赖性？
• RQ3 能否设计一个取值范围为0到1的单一指数，且在条件独立性成立时恰好为零？
• RQ4 所提出的方法在非正态、重尾或离散数据下是否仍能保持高统计功效和第一类错误控制？
• RQ5 与现有方法（如偏相关、KCI和CMI）相比，该方法在因果发现任务中的表现如何？

主要发现

• 在正态误差下，样本量 $n=300$ 时，该检验的真正例率可达78.9%，显著高于KCI（63.4%）和CMI（59.0%）。
• 在均匀误差下，样本量 $n=300$ 时，该方法的真正例率达到73.6%，优于KCI（56.4%）和CMI（63.3%）。
• 假正例率保持在控制范围内，随样本量增加从0.113略微下降至0.103，表明第一类错误控制稳定。
• 该方法对分布误设具有鲁棒性，在正态和均匀误差分布下均保持高性能。
• 该检验计算高效，时间复杂度为 $O(n^2)$，无需调参或复杂的偏差校正。
• 在条件独立性成立时，指数 $\rho$ 恰好为零，且取值范围为0到1，为条件依赖程度提供了清晰且可解释的度量。