[논문 리뷰] Measuring Association on Topological Spaces Using Kernels and Geometric Graphs

Nabarun Deb, Promit Ghosal외 1명|arXiv (Cornell University)|2020. 10. 05.

Statistical Methods and Inference참고 문헌 99인용 수 31

한 줄 요약

일반적인 위상 공간에서 X와 Y 간의 비모수적 연관성 측정은 RKHS 커널과 기하 그래프를 기반으로 구축되며, 독립성 검정 및 고유 차원의 적응성을 가능하게 한다.

ABSTRACT

In this paper we propose and study a class of simple, nonparametric, yet interpretable measures of association between two random variables $X$ and $Y$ taking values in general topological spaces. These nonparametric measures -- defined using the theory of reproducing kernel Hilbert spaces -- capture the strength of dependence between $X$ and $Y$ and have the property that they are 0 if and only if the variables are independent and 1 if and only if one variable is a measurable function of the other. Further, these population measures can be consistently estimated using the general framework of graph functionals which include $k$-nearest neighbor graphs and minimum spanning trees. Moreover, a sub-class of these estimators are also shown to adapt to the intrinsic dimensionality of the underlying distribution. Some of these empirical measures can also be computed in near linear time. Under the hypothesis of independence between $X$ and $Y$, these empirical measures (properly normalized) have a standard normal limiting distribution. Thus, these measures can also be readily used to test the hypothesis of mutual independence between $X$ and $Y$. In fact, as far as we are aware, these are the only procedures that possess all the above mentioned desirable properties. Furthermore, when restricting to Euclidean spaces, we can make these sample measures of association finite-sample distribution-free, under the hypothesis of independence, by using multivariate ranks defined via the theory of optimal transport. The recent correlation coefficient proposed in Dette et al. (2013), Chatterjee (2019), and Azadkia and Chatterjee (2019) can be seen as a special case of this general class of measures.

연구 동기 및 목표

• 일반 위상 공간에서 (X,Y)에 대한 모집단 및 경험적 연관성 측정을 정의한다.
• X와 Y가 독립일 때 0이고 Y가 X의 잡음 없는 함수일 때 1이 되는 커널 기반 측정치를 개발한다.
• k-NN 그래프 및 MST와 같은 기하 그래프를 사용하여 일관성 추정량(KMAc)을 제공한다.
• 독립 하에서 극한 정규성을 확립하고 시간 효율적 추정치를 도출한다.
• 고유 차원성에 대한 적응을 보이고 유클리드 공간에서의 유한표본 특성에 대해 논의한다.

제안 방법

• Y 위의 특성 커널 K와 RKHS H_K를 사용하여 모집단 측정치 eta_K를 도입한다.
• K(Y_i,Y_j)를 사용하여 인접한 X_i를 잇는 간선이 있는 X의 기하 그래프 G_n을 통해 경험적 추정량 etâ_n를 구성한다.
• 커널 연관성 측정 추정치 η̂_n = [ (1/n) sum_i d_i^{-1} sum_{j:(i,j)∈E(G_n)} K(Y_i,Y_j) - (1/[n(n-1)]) sum_{i≠j} K(Y_i,Y_j) ] / [ (1/n) sum_i K(Y_i,Y_i) - (1/[n(n-1)]) sum_{i≠j} K(Y_i,Y_j) ].
• G_n에 대한 일관성을 η_K(μ)로 보장하는 조건(A1)-(A2)을 설명하고, η_K(μ) = 1 - E||K(·,Y′)−K(·,Ỹ′)||_H^2 / E||K(·,Y)−K(·,Y′)||_H^2 를 보인다.
• 선형 시간 버전 η̂_n^{lin} 및 다변량 순위의 최적 수송으로부터 얻은 순위 기반의 분포 자유 버전 η̂_n^{rank}를 논의한다.
• 독립 하에서의 near-linear 시간 구현 및 CLT를 포함한 계산 측면을 다룬다.]

실험 결과

연구 질문

• RQ1 일반적인 위상 공간에서 X와 Y 간의 독립일 때 0이고 Y가 X의 함수일 때 1인 간단하고 비모수적 연관성 측정을 정의할 수 있는가?
• RQ2 RKHS 커널과 기하 그래프를 결합해 데이터로부터 이 연관성을 일관되게 추정할 수 있는가?
• RQ3 제안된 측정치의 독립 하에서의 비대칭 분포적 특성(예: CLT)은 무엇이며 이를 어떻게 검정에 활용할 수 있는가?
• RQ4 제안된 방법이 고유 차원성에 적응하고 거의 선형 계산 복잡도를 달성할 수 있는가?

주요 결과

• 모집단 커널 측정치 η_K(μ)가 정의되어 독립성에 대해 0, 노이즈 없는 함수적 의존성에 대해 1을 만족한다(특성 커널 K 하에서).
• k-NN 그래프 및 기타 기하 그래프를 기반으로 한 경험적 추정량 η̂_n이 η_K(μ)를 일관되게 추정한다.
• 독립하에서 η̂_n은(적절히 정규화하면) 표준 정규 분포의 CLT를 큰 그래프 군에서 균일하게 만족한다.
• 방법은 X 및 Y의 고유 차원성에 적응하며 거의 선형 시간의 추정치 η̂_n^{lin}이 이용 가능하다.
• X와 Y가 유클리드 공간일 때 다변량 순위(rank)를 사용하는 분포 자유 버전 η̂_n^{rank}가 독립 하에서의 유한 표본 분포 자유 검정을 제공한다.
• 이 프레임워크는 Dette 등, Chatterjee, Azadkia–Chatterjee가 제안한 상관 계측 유형들을 특수한 경우로 포함하고 일반화한다.