[论文解读] Nonparametric testing of conditional independence by means of the partial copula

Wicher Bergsma|arXiv (Cornell University)|Jan 24, 2011

Statistical Methods and Inference参考文献 20被引用 24

一句话总结

本文提出了一种非参数方法，通过偏互依（partial copula）检验给定第三个变量 X 时两个随机变量 Y 和 Z 的条件独立性。通过使用估计的条件累积分布函数将 Y 和 Z 转换为它们的条件秩，该方法将条件独立性检验简化为对变换后变量的普通独立性检验，即使存在估计误差，其推断仍具有渐近有效性。

ABSTRACT

We propose a new method to test conditional independence of two real random variables $Y$ and $Z$ conditionally on an arbitrary third random variable $X$. %with $F_{.|.}$ representing conditional distribution functions, The partial copula is introduced, defined as the joint distribution of $U=F_{Y|X}(Y|X)$ and $V=F_{Z|X}(Z|X)$. We call this transformation of $(Y,Z)$ into $(U,V)$ the partial copula transform. It is easy to show that if $Y$ and $Z$ are continuous for any given value of $X$, then $Y\ind Z|X$ implies $U\ind V$. Conditional independence can then be tested by (i) applying the partial copula transform to the data points and (ii) applying a test of ordinary independence to the transformed data. In practice, $F_{Y|X}$ and $F_{Z|X}$ will need to be estimated, which can be done by, e.g., standard kernel methods. We show that under easily satisfied conditions, and for a very large class of test statistics for independence which includes the covariance, Kendall's tau, and Hoeffding's test statistic, the effect of this estimation vanishes asymptotically. Thus, for large samples, the estimation can be ignored and we have a simple method which can be used to apply a wide range of tests of independence, including ones with consistency for arbitrary alternatives, to test for conditional independence. A simulation study indicates good small sample performance. Advantages of the partial copula approach compared to competitors seem to be simplicity and generality.

研究动机与目标

• 开发一种适用于连续随机变量 Y 和 Z 在给定任意混杂因子 X 条件下的通用非参数条件独立性检验方法。
• 解决 Y、Z 与 X 之间的边际依赖关系可能掩盖条件依赖结构的挑战。
• 提供一种即使在条件分布函数从数据中估计时仍保持渐近有效的检验方法。
• 通过变换使广泛现有的独立性检验统计量（例如，相关系数、Kendall’s tau、Hoeffding 统计量）可用于条件独立性检验。
• 通过模拟研究和真实数据分析展示该方法的实际效用，表明其具有良好的第一类错误控制能力和检验功效。

提出的方法

• 将偏互依定义为 U = F_{Y|X}(Y|X) 和 V = F_{Z|X}(Z|X) 的联合分布，其中 F_{Y|X} 和 F_{Z|X} 为条件累积分布函数。
• 对数据应用偏互依变换，利用估计的条件 CDF 将每个 (X_i, Y_i, Z_i) 转换为 (U_i, V_i)。
• 在变换后的 (U_i, V_i) 对上应用标准的非参数独立性检验（例如，相关系数、Kendall’s tau、Hoeffding 检验）来检验 H_0: Y ⊥⊥ Z | X。
• 证明在弱正则性条件下，一大类检验统计量（包括基于协方差和基于秩的）的渐近零分布不受 F_{Y|X} 和 F_{Z|X} 估计的影响。
• 使用 Nadaraya-Watson 核回归估计条件 CDF，带宽通过数据驱动公式 h = 1.75√(λ/n) 选择。
• 对变换后的数据应用置换检验以计算 p 值，确保在原假设下的稳健性。

实验结果

研究问题

• RQ1 能否开发一种通用的非参数方法来检验条件独立性，且对条件分布估计具有鲁棒性？
• RQ2 当条件 CDF 为估计值而非已知值时，常见检验统计量的渐近分布是否仍保持有效？
• RQ3 在小样本中，该方法的表现如何，特别是在第一类错误控制和检验功效方面？
• RQ4 标准独立性检验（如 Kendall’s tau、Hoeffding 检验）能否通过偏互依变换被有效重用于条件独立性检验？
• RQ5 带宽选择和信噪比对有限样本中该方法性能的影响如何？

主要发现

• 一大类检验统计量（包括协方差、Kendall’s tau 和 Hoeffding 的 Δ）的渐近零分布不受条件 CDF 估计的影响，从而在大样本中实现有效的推断。
• 模拟结果表明，当 n = 20 和 n = 100 时，该方法在各种信噪比（λ ∈ {0.1, 0.3, 0.5, 0.7}）下均保持第一类错误率接近名义水平 0.05。
• 当 n = 100 且 λ 适中时，由于条件化导致的检验功效损失极小，功效曲线趋近于无条件独立性检验的结果。
• 当 λ 极小时（即存在强烈过拟合），该方法失效，因为带宽选择变得不稳定，且估计误差占主导地位。
• 当 n = 100 时，多种带宽选择均能获得可接受的第一类错误率，表明对带宽选择具有鲁棒性。
• 在地高辛数据应用中，基于偏互依检验的 p 值范围从 0.018（皮尔逊相关系数）到 0.107（Hoeffding 的 Δ），表明大多数检验统计量提供了反对条件独立性的证据。