[论文解读] Conditional independence testing: a predictive perspective

Marco Henrique de Almeida Inácio, Rafael Izbicki+1 more|arXiv (Cornell University)|Jul 31, 2019

Bayesian Modeling and Causal Inference参考文献 12被引用 4

一句话总结

该论文提出COINP，一种新颖的条件独立性检验方法，通过基于置换的p值比较原始数据与置换数据的预测性能，评估监督学习中特征的相关性。该方法通过使用基于秩次的推断而非渐近近似，实现了更高的统计功效和更优的I类错误控制——尤其在小样本情况下表现更优，相较于CPI等现有方法，在模拟和真实世界设置中均表现更佳。

ABSTRACT

Conditional independence testing is a key problem required by many machine learning and statistics tools. In particular, it is one way of evaluating the usefulness of some features on a supervised prediction problem. We propose a novel conditional independence test in a predictive setting, and show that it achieves better power than competing approaches in several settings. Our approach consists in deriving a p-value using a permutation test where the predictive power using the unpermuted dataset is compared with the predictive power of using dataset where the feature(s) of interest are permuted. We conclude that the method achives sensible results on simulated and real datasets.

研究动机与目标

• 开发一种在监督学习场景中具有统计有效性与强大功效的条件独立性检验方法。
• 解决现有方法的局限性，特别是小样本下I类错误控制不佳与统计功效低的问题。
• 提供一种假设检验方法，回答“该特征是否相关？”而非量化特征重要性。
• 通过使用对异常值和分布假设不敏感的基于置换的p值，改进CPI等先前方法。
• 在模拟数据和真实世界数据集（包括diamonds数据集）上展示该方法的有效性。

提出的方法

• COINP使用预测框架检验原假设 $ H_0: \mathbf{X}^S \perp Y \mid \mathbf{X}^{S^c} $，通过比较原始特征与置换特征上的模型性能。
• 该方法通过置换检验计算p值：将基于原始数据训练的模型的预测风险，与基于置换数据训练的模型的风险分布进行比较。
• 对于 $ B $ 次置换中的每一次，$ \mathbf{X}^S $ 中的特征在样本间随机重排，以在原假设下保持条件独立性。
• p值估计为：在置换数据集中，预测性能至少与原始数据集相当的比例。
• 该方法对异常值具有鲁棒性，因其依赖于预测性能的秩次，而非原始损失值或t检验。
• 该方法可使用多种预测模型（如线性回归、随机森林、神经网络）实现，并在多种模拟设置下评估性能。

实验结果

研究问题

• RQ1 在不同数据分布和样本大小下，COINP是否在原假设下保持适当的p值均匀性？
• RQ2 在高维或非线性设置中，COINP的统计功效与CPI及其他方法相比如何？
• RQ3 COINP是否能在小样本场景下实现比现有方法更高的功效，尤其是在渐近近似失效时？
• RQ4 COINP是否对异常值和模型误设具有鲁棒性，特别是在使用神经网络等复杂模型时？
• RQ5 COINP的p值分布在原假设下是否接近均匀分布？与CPI相比表现如何？

主要发现

• 在包括协变量相关在内的多种设置下，COINP在原假设下均实现了适当的p值均匀性，而近似方法在此类情况下会失效。
• 在小样本和协变量相关设置下，COINP的I类错误率控制显著优于CPI。
• 在所有模拟设置中，COINP的统计功效均显著高于CPI，尤其在使用线性回归模型时增益最大。
• COINP的功效随样本量增加而提升，表明其具有一致性，例如在 $ n = 10,000 $ 时的功效高于 $ n = 1,000 $ 时。
• COINP对异常值具有鲁棒性，因其采用基于秩次的推断；而CPI依赖于原始损失值的t检验，对极端值敏感。
• 在diamonds数据集分析中，COINP在所有模型下均正确识别出所有特征具有显著性（p < 0.05），而CPI结果不一致，尤其在神经网络中表现更差。