[논문 리뷰] High dimensional independence testing with maxima of rank correlations

Mathias Drton, Fang Han외 1명|arXiv (Cornell University)|2018. 12. 14.

Random Matrices and Applications인용 수 5

한 줄 요약

이 논문은 Hoeffding의 $D$, Blum-Kiefer-Rosenblatt의 $R$, 그리고 Bergsma-Dassios-Yanagimoto의 $\alpha^*$를 포함한 상위 상관관계의 최댓값을 기반으로 하는 분포 자유, 순열 자유 고차원 독립성 검정의 가족을 제안한다. 고유한 Cramér 유형의 중간 편차 정리(또는 중간 편차 정리)를 이용하여, 가우시안 코풀라 모델 하에서 희박한 대립가설에 대해 최적의 검출률을 달성하며, 세 가지 순서상관계 통계량 간의 새로운 관계를 규명한다.

ABSTRACT

Testing mutual independence for high dimensional observations is a fundamental statistical challenge. Popular tests based on linear and simple rank correlations are known to be incapable of detecting non-linear, non-monotone relationships, calling for methods that can account for such dependences. To address this challenge, we propose a family of tests that are constructed using maxima of pairwise rank correlations that permit consistent assessment of pairwise independence. Built upon a newly developed Cram\'{e}r-type moderate deviation theorem for degenerate U-statistics, our results cover a variety of rank correlations including Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $ au^*$. The proposed tests are distribution-free, implementable without the need for permutation, and are shown to be rate-optimal against sparse alternatives under the Gaussian copula model. As a by-product of the study, we reveal an identity between the aforementioned three rank correlation statistics, and hence make a step towards proving a conjecture of Bergsma and Dassios.

연구 동기 및 목표

• 비선형적이며 비단조화적인 의존성을 고차원 데이터에서 탐지하는 데에 한계가 있는 선형 및 단순 순서상관관계 검정의 문제점을 해결하기 위해.
• 분포 자유이며 순열 샘플링을 필요로 하지 않는 독립성 검정의 클래스를 개발하기 위해.
• 희박한 대립가설 하에서 고차원 환경에서 제안된 검정의 이론적 일致성과 최적성을 확립하기 위해.
• Hoeffding의 $D$, Blum-Kiefer-Rosenblatt의 $R$, 그리고 Bergsma-Dassios-Yanagimoto의 $\alpha^*$ 간의 새로운 관계를 규명하여 분야 내 한 가설을 발전시키기 위해.

제안 방법

• 이 방법은 고차원 데이터의 모든 변수 쌍 간의 순서상관관계의 최댓값을 이용해 검정 통계량을 구성한다.
• 비퇴도적 U-통계량에 대한 Cramér 유형의 중간 편차 정리를 활용하여 검정 통계량의 점근적 귀무분포를 유도한다.
• Hoeffding의 $D$, Blum-Kiefer-Rosenblatt의 $R$, $\alpha^*$ 등 여러 순서상관관계 측정법에 적용 가능하여 광범위한 적용성을 확보한다.
• 귀무가설인 독립성 하에서 분포 자유성이 보장되어 순열 절차가 필요 없도록 한다.
• 가우시안 코풀라 모델 하에서 이론적 보장을 도출하여, 희박한 대립가설에 대해 최적의 검출률을 확보한다.
• 세 순서상관관계 통계량이 귀무가설 하에서 점근적으로 동치임을 활용하여, 이들 간의 새로운 관계를 도출한다.

실험 결과

연구 질문

• RQ1 순열 샘플링에 의존하지 않고 비선형적이며 비단조화적인 의존성을 일관되게 탐지할 수 있는 고차원 독립성 검정을 구성할 수 있는가?
• RQ2 귀무가설인 독립성 하에서 상위 상관관계의 최댓값이 점근적으로 분포 자유인가?
• RQ3 가우시안 코풀라 모델 하에서 고차원 데이터의 희박한 대립가설을 탐지하는 데에 제안된 검정이 최적의 검출률을 갖는가?
• RQ4 Hoeffding의 $D$, Blum-Kiefer-Rosenblatt의 $R$, Bergsma-Dassios-Yanagimoto의 $\alpha^*$는 귀무가설 하에서 더 깊은 통계적 관계를 공유하는가?
• RQ5 비퇴도적 U-통계량에 대해 고차원 환경에서 Cramér 유형의 중간 편차 정리를 확립할 수 있는가? 이를 통해 추론을 지원할 수 있는가?

주요 결과

• 상관관계의 최댓값을 기반으로 한 제안된 검정은 귀무가설인 독립성 하에서 분포 자유성이 보장되어 순열을 통한 추론 없이 정확한 추론이 가능하다.
• 가우시안 코풀라 모델 하에서 희박한 대립가설에 대해 최적의 검출률을 달성하며, 고차원에서의 탐지에 대한 이론적 하한선과 일치한다.
• Hoeffding의 $D$, Blum-Kiefer-Rosenblatt의 $R$, Bergsma-Dassios-Yanagimoto의 $\alpha^*$ 간에 새로운 관계가 규명되었으며, 이는 이러한 순서상관관계 측정법에 대한 통합적 시각을 제공한다.
• 이론적 프레임워크는 비퇴도적 U-통계량에 대한 새로운 Cramér 유형의 중간 편차 정리를 바탕으로 하며, 고차원 환경에서 정밀한 꼬리 확률 근사치를 가능하게 한다.
• 검정은 순열 없이도 구현 가능하여 고차원 데이터 분석에서 계산 효율성이 크게 향상된다.