[논문 리뷰] Kernel Partial Correlation Coefficient -- a Measure of Conditional Dependence

Zhen Huang, Nabarun Deb외 1명|arXiv (Cornell University)|2020. 12. 29.

Statistical Methods and Inference참고 문헌 127인용 수 10

한 줄 요약

이 논문은 재생 힐버트 공간(RKHS)를 사용하여 랜덤 변수 $Y$와 $Z$ 사이의 조건부 의존도를 측정하는 비모수적 척도인 커널 부분상관계수(KPC)를 소개한다. 이는 $Y \perp\!\!\!\perp Z|X$일 때 0이 되고, $Y$가 $Z$와 $X$의 가측 함수일 때 1이 되며, 고전적 부분상관계수를 일반화한다. 저자는 기하 그래프 기반 및 교차 공분산 연산자 기반의 두 가지 일致한 추정 방법을 제안하여, $p \gg n$일 때도 보장되는 일관성과 함께 모형에 종속되지 않고 비선형 변수 선택을 가능하게 한다. 이 방법은 내재 차원성에 적응하며, 일부 추정기의 경우 근선형 시간 $O(n\log n)$에 수행된다.

ABSTRACT

In this paper we propose and study a class of simple, nonparametric, yet interpretable measures of conditional dependence between two random variables $Y$ and $Z$ given a third variable $X$, all taking values in general topological spaces. The population version of any of these measures captures the strength of conditional dependence and it is 0 if and only if $Y$ and $Z$ are conditionally independent given $X$, and 1 if and only if $Y$ is a measurable function of $Z$ and $X$. Thus, our measure -- which we call kernel partial correlation (KPC) coefficient -- can be thought of as a nonparametric generalization of the partial correlation coefficient that possesses the above properties when $(X,Y,Z)$ is jointly normal. We describe two consistent methods of estimating KPC. Our first method utilizes the general framework of geometric graphs, including $K$-nearest neighbor graphs and minimum spanning trees. A sub-class of these estimators can be computed in near linear time and converges at a rate that automatically adapts to the intrinsic dimension(s) of the underlying distribution(s). Our second strategy involves direct estimation of conditional mean embeddings using cross-covariance operators in the reproducing kernel Hilbert spaces. Using these empirical measures we develop forward stepwise (high-dimensional) nonlinear variable selection algorithms. We show that our algorithm, using the graph-based estimator, yields a provably consistent model-free variable selection procedure, even in the high-dimensional regime when the number of covariates grows exponentially with the sample size, under suitable sparsity assumptions. Extensive simulation and real-data examples illustrate the superior performance of our methods compared to existing procedures. The recent conditional dependence measure proposed by Azadkia and Chatterjee (2019) can be viewed as a special case of our general framework.

연구 동기 및 목표

• 고전적 부분상관계수의 가우시안 가정을 초월해 비모수적이고 해석 가능한 조건부 의존도 측도를 개발하는 것.
• 측도가 $Y$와 $Z$가 $X$에 대해 조건부로 독립일 때 정확히 0이 되고, $Y$가 $Z$와 $X$의 가측 함수일 때 정확히 1이 되는 조건을 만족시키는 것.
• 일반적인 위상공간에서 작동하고 $p$가 $n$에 대해 지수적으로 증가하는 고차원 설정에서도 작동하는 일관성 있고 적응적인 KPC 계수 추정기 설계.
• KPC 추정기를 기반으로 한 모형에 종속되지 않고 비선형 변수 선택 알고리즘 개발. 이 알고리즘은 희박성 가정 하에 일관성을 유지한다.

제안 방법

• KPC 계수는 재생 힐버트 공간 이론을 활용해 조건부 분포 $P_{Y|XZ}$와 $P_{Y|X}$ 사이의 기대 최대 평균 차이(MMD)의 비율과, 근사 분포 $P_Y$와 $P_{Y|X}$ 사이의 MMD 비율을 정의한다.
• 기하 그래프 기반 추정기는 $K$-최근접 이웃 그래프 또는 최소 스패닝 트리를 사용하여 KPC 계수를 근선형 시간 $O(n\log n)$에 추정하며, 내재 차원성에 적응한다.
• 두 번째 추정기는 RKHS 내에서 교차 공분산 연산자를 활용해 조건부 평균 임bedding을 직접 추정하며, 비모수적 추론을 위한 커널 방법을 활용한다.
• 두 추정기의 이론적 일관성은 유계성 및 특징 커널 가정을 포함한 미약한 정규성 조건 하에서 입증된다.
• 기하 그래프 기반 KPC 추정기를 기반으로 한 전진 단계별 변수 선택 알고리즘을 개발하였으며, 고차원 설정에서 일관성이 입증되었다.
• 이 프레임워크는 데이터 분포의 내재 차원성에 자동으로 적응하며, 저차원 다양체에서 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 가우시안 가정을 초월해 고전적 부분상관계수를 일반화하는 비모수적 조건부 의존도 측도를 구성할 수 있는가?
• RQ2 제안된 측도가 핵심 성질을 만족하는가? 즉, $Y \perp\!\!\!\perp Z|X$일 때 정확히 0이고, $Y$가 $Z$와 $X$의 가측 함수일 때 정확히 1인가?
• RQ3 표본 크기 $n$에 대해 지수적으로 증가하는 공변량 수 $p$에서도 수렴하는 일관성 있고 적응적인 추정기를 구성할 수 있는가?
• RQ4 이 측도를 기반으로 한 모형에 종속되지 않고 비선형 변수 선택 알고리즘을 구축할 수 있는가? 이 알고리즘은 고차원 설정에서도 일관성을 유지하는가?

주요 결과

• 일반적인 위상공간에서 $Y$와 $Z$가 $X$에 대해 조건부로 독립일 경우 KPC 계수는 정확히 0이 되고, $Y$가 $Z$와 $X$의 가측 함수일 경우 정확히 1이 된다.
• 기하 그래프 기반 추정기는 일관성을 확보하며, 근선형 시간 $O(n\log n)$에 계산 가능하며, 데이터의 내재 차원성에 따라 수렴 속도가 적응된다.
• 교차 공분산 연산자 기반 추정기는 조건부 평균 임베딩을 직접 추정하는 방법을 제공하여 고차원 설정에서 비선형 변수 선택을 가능하게 한다.
• 기하 그래프 기반 KPC 추정기를 기반으로 한 전진 단계별 변수 선택 알고리즘은 공변량 수가 표본 크기 $n$에 대해 지수적으로 증가하는 경우에도 희박성 가정 하에 정확히 일관성을 보장한다.
• 이 방법은 기저 분포의 내재 차원성에 적응하여 저차원 다양체에서 추정 효율성을 향상시킨다.
• KPC 프레임워크는 최근 Azadkia와 Chatterjee의 측도를 특수 케이스로 포함하며, 기존의 접근을 하나의 비모수적 조건부 의존도 프레임워크로 통합한다.