[논문 리뷰] Generalized kernel distance covariance in high dimensions: non-null CLTs and power universality

Qiyang Han, Yandi Shen|arXiv (Cornell University)|2021. 06. 14.

Statistical Methods and Bayesian Inference참고 문헌 28인용 수 4

한 줄 요약

이 논문은 가우시안 가정 하에 고차원에서 샘플 일반화 커널 거리 공분산에 대한 처음으로 비영 중심 중심극한정리(클트)를 수립한다. 이는 보편성 현상(유니버설리티)을 드러내며, 검정력은 커널 선택과 무관하게 $ n \cdot \text{dCor}^2(X,Y)/\sqrt{2} $ 에 의해 점점 더 결정되며, 이 속도는 최소최대 최적이다.

ABSTRACT

Distance covariance is a popular dependence measure for two random vectors $X$ and $Y$ of possibly different dimensions and types. Recent years have witnessed concentrated efforts in the literature to understand the distributional properties of the sample distance covariance in a high-dimensional setting, with an exclusive emphasis on the null case that $X$ and $Y$ are independent. This paper derives the first non-null central limit theorem for the sample distance covariance, and the more general sample (Hilbert-Schmidt) kernel distance covariance in high dimensions, primarily in the Gaussian case. The new non-null central limit theorem yields an asymptotically exact first-order power formula for the widely used generalized kernel distance correlation test of independence between $X$ and $Y$. The power formula in particular unveils an interesting universality phenomenon: the power of the generalized kernel distance correlation test is completely determined by $n\cdot ext{dcor}^2(X,Y)/\sqrt{2}$ in the high dimensional limit, regardless of a wide range of choices of the kernels and bandwidth parameters. Furthermore, this separation rate is also shown to be optimal in a minimax sense. The key step in the proof of the non-null central limit theorem is a precise expansion of the mean and variance of the sample distance covariance in high dimensions, which shows, among other things, that the non-null Gaussian approximation of the sample distance covariance involves a rather subtle interplay between the dimension-to-sample ratio and the dependence between $X$ and $Y$.

연구 동기 및 목표

• 고차원 의존성 검정의 이론적 간극을 메우기 위해 샘플 거리 공분산의 비영 중심 극한분포를 유도하는 것.
• 의존성 하에서 일반화된 커널 거리 상관계수 검정의 점점 더 결정되는 검정력의 점근적 성질을 기술하는 것.
• 커널 및 대역폭 선택과 무관하게 검정력에 보편성 현상이 존재하도록 확립하는 것.
• 고차원에서 의존성을 탐지하기 위한 분리 속도 $ n \cdot \text{dCor}^2(X,Y)/\sqrt{2} $ 의 최소최대 최적성 증명하기

제안 방법

• 차원 대 표본 수 비율과 의존성 간의 상호작용을 포착하는 고차원에서의 샘플 거리 공분산의 평균과 분산에 대한 정밀한 전개를 유도한다.
• 샘플 거리 공분산의 U-통계량 형태에 허프딩 분해를 적용하여 구성요소를 분리한다.
• 포인카레 부등식과 잔여항 추정을 사용하여 전개에서 고차항을 제어한다.
• 거리 공분산 통계량의 잘라낸 형태에 대한 정규근사법을 수립한다.
• 의존성 하에서 U-통계량의 비.i.i.d. 구조를 다루기 위해 새로운 잘라내기 및 대칭화 전략을 활용한다.
• 모멘트 전개와 농도 불등식을 조합하여 가우시안 가정 하에서 비영 중심 클트를 도출한다.

Figure 1 . Verification of CLTs. Solid lines correspond to the standard normal quantiles, and dashed lines correspond to sample quantiles with the identity, Gaussian, and Laplace kernels, respectively. Simulation parameters: $(n,p,q)=(1000,100,100)$ , $B=200$ replications, bandwidth choices $\rho_{X

실험 결과

연구 질문

• RQ1 고차원에서 샘플 일반화 커널 거리 공분산의 비영 중심 극한분포는 무엇인가?
• RQ2 의존성 하에서 일반화된 커널 거리 상관계수 검정의 검정력은 점점 더 어떻게 행동하는가?
• RQ3 다양한 커널 선택과 대역폭 파라미터에 대해 검정력이 보편적인가?
• RQ4 고차원 설정에서 의존성을 탐지하기 위한 최적의 분리 속도는 무엇인가?
• RQ5 발산하는 차원을 가진 가우시안 가정 하에서 비영 중심 클트를 도출할 수 있는가?

주요 결과

• 가우시안성 가정 하에 고차원에서 샘플 일반화 커널 거리 공분산에 대한 처음으로 비영 중심 중심극한정리가 수립된다.
• 일반화된 커널 거리 상관계수 검정의 점점 더 결정되는 검정력은 커널 및 대역폭 선택과 무관하게 $ n \cdot \text{dCor}^2(X,Y)/\sqrt{2} $ 에 의해 완전히 결정된다.
• 이 분리 속도 $ n \cdot \text{dCor}^2(X,Y)/\sqrt{2} $ 는 고차원 설정에서 의존성을 탐지하기 위해 최소최대 최적임을 입증한다.
• 비영 중심 가우시안 근사에서는 차원 대 표본 수 비율과 $ X $ 와 $ Y $ 간의 의존성 구조 사이에 미묘한 상호작용이 존재한다.
• 샘플 거리 공분산의 평균과 분산은 고차원에서 정밀하게 전개되었으며, 이는 교차공분산 행렬의 핵심적 역할을 드러낸다.
• 검정력 공식은 검정의 검정력에 대해 점점 더 정확한 일차 근사값을 제공하며, 고차원 의존성 검정에서 정확한 검정력 분석을 가능하게 한다.

Figure 2 . Verification of power universality in choice of bandwidth parameter (left and middle) and choice of kernel (right). Solid lines correspond to the standard normal quantiles, and dashed lines correspond to sample quantiles.