[论文解读] Kernel Partial Correlation Coefficient -- a Measure of Conditional Dependence

Zhen Huang, Nabarun Deb+1 more|arXiv (Cornell University)|Dec 29, 2020

Statistical Methods and Inference参考文献 127被引用 10

一句话总结

本文提出了核部分相关系数（KPC）系数，这是一种基于再生核希尔伯特空间（RKHS）的非参数条件依赖度量，用于衡量给定 $X$ 时随机变量 $Y$ 与 $Z$ 之间的条件依赖关系。当 $Y \perp\!\!\!\perp Z|X$ 时，其值为 0；当 $Y$ 是 $Z$ 和 $X$ 的可测函数时，其值为 1，从而推广了经典的部分相关系数。作者提出了两种一致的估计方法——基于几何图的估计与基于互协方差算子的估计，实现了无需模型假设的高维非线性变量选择，并在 $p \gg n$ 的情况下仍具有可证明的一致性。该方法能够自适应地适应数据的内在维度，并在某一类估计器中实现近线性时间复杂度。

ABSTRACT

In this paper we propose and study a class of simple, nonparametric, yet interpretable measures of conditional dependence between two random variables $Y$ and $Z$ given a third variable $X$, all taking values in general topological spaces. The population version of any of these measures captures the strength of conditional dependence and it is 0 if and only if $Y$ and $Z$ are conditionally independent given $X$, and 1 if and only if $Y$ is a measurable function of $Z$ and $X$. Thus, our measure -- which we call kernel partial correlation (KPC) coefficient -- can be thought of as a nonparametric generalization of the partial correlation coefficient that possesses the above properties when $(X,Y,Z)$ is jointly normal. We describe two consistent methods of estimating KPC. Our first method utilizes the general framework of geometric graphs, including $K$-nearest neighbor graphs and minimum spanning trees. A sub-class of these estimators can be computed in near linear time and converges at a rate that automatically adapts to the intrinsic dimension(s) of the underlying distribution(s). Our second strategy involves direct estimation of conditional mean embeddings using cross-covariance operators in the reproducing kernel Hilbert spaces. Using these empirical measures we develop forward stepwise (high-dimensional) nonlinear variable selection algorithms. We show that our algorithm, using the graph-based estimator, yields a provably consistent model-free variable selection procedure, even in the high-dimensional regime when the number of covariates grows exponentially with the sample size, under suitable sparsity assumptions. Extensive simulation and real-data examples illustrate the superior performance of our methods compared to existing procedures. The recent conditional dependence measure proposed by Azadkia and Chatterjee (2019) can be viewed as a special case of our general framework.

研究动机与目标

• 开发一种非参数且可解释的条件依赖度量，用于衡量给定 $X$ 时 $Y$ 与 $Z$ 之间的条件依赖关系，使其超越高斯假设的限制。
• 确保该度量在且仅在 $Y$ 和 $Z$ 给定 $X$ 条件下独立时为 0，且在且仅在 $Y$ 是 $Z$ 和 $X$ 的可测函数时为 1。
• 设计在一般拓扑空间下一致且自适应的 KPC 系数估计器，适用于 $p$ 随样本量 $n$ 指数增长的高维设置。
• 基于 KPC 估计器开发一种无需模型假设的非线性变量选择算法，该算法在稀疏性假设下仍保持一致性。

提出的方法

• KPC 系数通过再生核希尔伯特空间（RKHS）理论，基于条件分布 $P_{Y|XZ}$ 与 $P_{Y|X}$ 之间最大均值差异（MMD）的期望值之比，以及边际分布 $P_Y$ 与 $P_{Y|X}$ 之间 MMD 的期望值之比来定义。
• 基于几何图的估计器利用 $K$-近邻图或最小生成树来估计 KPC 系数，计算时间接近线性 $O(n\log n)$，并能自适应地适应数据的内在维度。
• 第二种估计器通过 RKHS 中的互协方差算子直接估计条件均值嵌入，利用核方法实现非参数推断。
• 在较弱的正则性条件下（包括有界性和特征核假设），建立了两种估计器的一致性理论。
• 基于图估计器开发了一种前向逐步变量选择算法，并在高维情形下证明其一致性。
• 该框架包括对数据分布内在维度的自动适应，从而在低维流形上提升收敛速度。

实验结果

研究问题

• RQ1 能否构建一种非参数条件依赖度量，使其在非高斯假设下推广经典的部分相关系数？
• RQ2 所提出的度量是否满足关键性质：当且仅当 $Y \perp\!\!\!\perp Z|X$ 时值为 0，且当且仅当 $Y$ 是 $Z$ 和 $X$ 的可测函数时值为 1？
• RQ3 能否构建一致且自适应的该度量估计器，使其在协变量数量随样本量指数增长时仍能收敛？
• RQ4 能否基于该度量构建一种无需模型假设的非线性变量选择算法，使其在高维设置下仍保持一致性？

主要发现

• 在一般拓扑空间下，当 $Y$ 和 $Z$ 给定 $X$ 条件下独立时，KPC 系数恰好为 0；当 $Y$ 是 $Z$ 和 $X$ 的可测函数时，其值恰好为 1。
• 基于几何图的估计器具有一致性，且可在接近线性时间 $O(n\log n)$ 内计算，其收敛速度能自适应地适应数据的内在维度。
• 基于互协方差算子的估计器提供了一种直接估计条件均值嵌入的方法，从而在高维设置下实现非线性变量选择。
• 基于图估计器的前向逐步变量选择算法在协变量数量随样本量指数增长且满足稀疏性假设时，仍具有可证明的一致性。
• 该方法能自适应地适应底层分布的内在维度，从而在低维流形上提升估计效率。
• KPC 框架将 Azadkia 和 Chatterjee 的近期度量作为特例，统一了现有方法于同一非参数条件依赖框架之下。