[论文解读] Fast Conditional Independence Test for Vector Variables with Large Sample Sizes

Krzysztof Chalupka, Pietro Perona+1 more|arXiv (Cornell University)|Apr 8, 2018

Bayesian Modeling and Causal Inference参考文献 15被引用 10

一句话总结

本文提出了快速（条件）独立性检验（FIT），一种非参数方法，利用决策树回归在大规模样本的高维向量数据中高效地测试条件独立性。FIT在保持低第一类和第二类错误率的同时，显著快于现有的基于核函数和置换的方法，尤其在样本量增大时表现更优，使其成为基因组学或神经影像学等大规模数据集中因果发现的理想选择。

ABSTRACT

We present and evaluate the Fast (conditional) Independence Test (FIT) -- a nonparametric conditional independence test. The test is based on the idea that when $P(X \mid Y, Z) = P(X \mid Y)$, $Z$ is not useful as a feature to predict $X$, as long as $Y$ is also a regressor. On the contrary, if $P(X \mid Y, Z) eq P(X \mid Y)$, $Z$ might improve prediction results. FIT applies to thousand-dimensional random variables with a hundred thousand samples in a fraction of the time required by alternative methods. We provide an extensive evaluation that compares FIT to six extant nonparametric independence tests. The evaluation shows that FIT has low probability of making both Type I and Type II errors compared to other tests, especially as the number of available samples grows. Our implementation of FIT is publicly available.

研究动机与目标

• 开发一种适用于高维向量变量和大规模样本量的可扩展、非参数条件独立性检验。
• 解决现有基于核函数和置换的条件独立性检验在大规模数据场景下的计算瓶颈问题。
• 在不同数据分布和样本量下评估FIT的性能，重点关注第一类和第二类错误的控制。
• 提供一个实用的、公开可用的工具，用于大规模数据集中的因果发现和统计推断。
• 证明FIT在样本量增加时仍能保持低错误率和快速运行时间，而某些竞争方法则不然。

提出的方法

• FIT通过比较两个回归模型的均方误差（MSE）来检验条件独立性：一个模型将X对Y和Z进行回归，另一个模型仅将X对Y进行回归。
• 该方法选用决策树回归（DTR）作为基础学习器，因其计算效率高，且在极少超参数调优的情况下即可处理高维输入。
• 通过置换响应变量X来计算p值，并将观察到的MSE差异与这些置换生成的零抽样分布进行比较。
• 该检验设计为非参数且模型无关，仅依赖于给定Y时Z的预测能力来评估条件依赖性。
• FIT通过使用快速、可微分的回归方法避免了昂贵的核矩阵运算，从而实现对包含10万+样本数据集的可扩展性。
• 该算法以Python实现，并在GitHub上公开，以确保可复现性，并可集成到因果发现流程中。

实验结果

研究问题

• RQ1 非参数条件独立性检验是否能在扩展至大规模样本量和高维向量变量的同时，保持低第一类和第二类错误率？
• RQ2 FIT在错误控制和运行时间方面与六种现有非参数CIT方法相比，在不同数据分布和样本量下的表现如何？
• RQ3 FIT依赖于决策树回归带来的MSE改进，在各种条件依赖结构下是否依然稳健，特别是在高维设置中？
• RQ4 随着样本量增加，FIT的p值行为如何变化？其在渐近极限下是否保持正确的统计特性？
• RQ5 在现实应用中，FIT在何种条件下应优于KCIT、CHSIC或RCIT等现有方法？

主要发现

• FIT的运行时间显著快于所有六种竞争方法，尤其在10万个样本的大数据集上，测试可在数秒内完成，而其他方法则需数分钟甚至数小时。
• FIT在所有测试的样本量和数据分布下均保持了低第一类和第二类错误率，且随着样本量增加，其表现优于其他方法。
• 与RCIT在样本量增大时p值行为恶化（分布非均匀）不同，FIT在原假设下保持了均匀的p值分布，表明其具有正确的统计特性。
• 在高维设置中（例如128维），FIT在准确性和速度上均持续优于RCIT、CCI和KCIPT，而RCIT在超过1,000个样本后无法保持正确的p值行为。
• 在样本量少于1,000个的低维数据中，CHSIC和KCIT优于FIT，表明在小样本场景下存在可扩展性与性能之间的权衡。
• 作者建议在涉及高维向量变量的大规模因果发现任务中，FIT应作为默认选择，除非处于小样本、低维场景，此时CHSIC或KCIT可能更优。