[论文解读] Conditional independence testing based on a nearest-neighbor estimator of conditional mutual information

Jakob Runge|arXiv (Cornell University)|Sep 5, 2017

Bayesian Modeling and Causal Inference被引用 66

一句话总结

一个完全非参数的条件独立性检验，使用最近邻估计的条件互信息（CMI）结合局部置换方案，能够适应高度局部密度和非线性依赖。

ABSTRACT

Conditional independence testing is a fundamental problem underlying causal discovery and a particularly challenging task in the presence of nonlinear and high-dimensional dependencies. Here a fully non-parametric test for continuous data based on conditional mutual information combined with a local permutation scheme is presented. Through a nearest neighbor approach, the test efficiently adapts also to non-smooth distributions due to strongly nonlinear dependencies. Numerical experiments demonstrate that the test reliably simulates the null distribution even for small sample sizes and with high-dimensional conditioning sets. The test is better calibrated than kernel-based tests utilizing an analytical approximation of the null distribution, especially for non-smooth densities, and reaches the same or higher power levels. Combining the local permutation scheme with the kernel tests leads to better calibration, but suffers in power. For smaller sample sizes and lower dimensions, the test is faster than random fourier feature-based kernel tests if the permutation scheme is (embarrassingly) parallelized, but the runtime increases more sharply with sample size and dimensionality. Thus, more theoretical research to analytically approximate the null distribution and speed up the estimation for larger sample sizes is desirable.

研究动机与目标

• 应对连续数据（可能非线性且高维）的条件独立性检验。
• 开发基于条件互信息（CMI）的完全非参数 CI 检验。
• 引入局部最近邻置换方案，在不破坏 Z 相关性的前提下生成原假设分布。
• 在多种情境下展示比基于核的 CI 检验更好的标定和有竞争力的检验力。

提出的方法

• 在联合空间 X,Y,Z 中使用 Kozachenko-Leonenko 型的 k 最近邻熵估计器来估计 CMI，k 设定为 k_CMI。
• Compute the CMI estimator: Ĩ_{XY|Z} = ψ(k) + (1/n) sum_i [ψ(k_{Z,i}) - ψ(k_{XZ,i}) - ψ(k_{YZ,i})].
• 对每个样本，在联合空间中通过 k_CMI-th 最近邻确定 ε_i，并在各自子空间中使用 ε_i 统计 k_{XZ,i}, k_{YZ,i}, k_{Z,i}。
• 使用局部最近邻置换方案生成伪样本：在保持 Z 与 X–Z 结构的前提下，将每个 X 值映射到 Z 的一个随机邻居。
• 通过 B 个伪样本生成原假设分布，p 值计算为伪样本中 Ĩ ≥ Ĩ(X;Y|Z) 的比例。
• 提供基于 KD-tree 的最近邻搜索以提高效率；并指出该方法的数据自适应特性及在 k 与 D 上近似线性级别的扩展性。

实验结果

研究问题

• RQ1 是否可以构建一个用于连续数据的完全非参数 CI 检验，使用最近邻估计的 CMI，在样本量较小且 Z 高维时仍然可靠？
• RQ2 基于最近邻的局部置换方案是否在非线性依赖下提供良好标定的原假设分布以及相对核基 CI 检验的有竞争力的检验力？
• RQ3 在不同样本量和条件集维度下，k_CMI 与 k_perm 的选择如何影响标定、检验力和运行时间？
• RQ4 提出的 CMIknn 方法是否对由非线性依赖引起的高度局部化密度和非平滑密度具有鲁棒性？

主要发现

• CMIknn 在样本量较小到中等、条件维度较高时，产生标定良好的原假设分布，在具有挑战性密度下的标定性能优于若干核基检验。
• 局部置换方案相对于完整或分析性的原假设近似在标定方面有改进，特别是对于小样本量 n。
• 在许多非线性情形下，CMIknn 的检验力与 KCIT、RCIT、RCoT、CDC 相当或更高，尤其在高度非线性依赖时表现尤为出色。
• 对于较小的样本量，当使用 KD-tree 邻近搜索时，CMIknn 可能比 RCIT/RCoT 快，但置换步骤会带来显著的计算负担。
• 通过将核检验与局部置换方案结合，可以进一步提升标定，但会以损失检验力为代价。
• 作者在 GitHub 仓库中提供了实现 CMIknn 的开源代码。