[논문 리뷰] High dimensional consistent independence testing with maxima of rank correlations

Mathias Drton, Fang Han외 1명|arXiv (Cornell University)|2018. 12. 14.

Random Matrices and Applications참고 문헌 43인용 수 6

한 줄 요약

이 논문은 Hoeffding의 $D$, Blum–Kiefer–Rosenblatt의 $R$, 그리고 Bergsma–Dassios–Yanagimoto의 $\tau^*$를 기반으로 한 고차원적 독립성 검정의 가족을 제안한다. 이는 비퇴화 U-통계량에 대한 새로운 Cramér 유형의 중간 편차 정리에 기반하며, 연속적 누산분포 하에서 분포무관이며, 순열을 사용하지 않고도 구현 가능한 검정이다. 이 검정들은 가우시안 코프룰라 모델 하에서 희박한 대립가설에 대해 속도 최적성을 입증하였으며, 근본 분포는 Gumbel 분포로 수렴한다.

ABSTRACT

Testing mutual independence for high-dimensional observations is a fundamental statistical challenge. Popular tests based on linear and simple rank correlations are known to be incapable of detecting non-linear, non-monotone relationships, calling for methods that can account for such dependences. To address this challenge, we propose a family of tests that are constructed using maxima of pairwise rank correlations that permit consistent assessment of pairwise independence. Built upon a newly developed Cramér-type moderate deviation theorem for degenerate U-statistics, our results cover a variety of rank correlations including Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $τ^*$. The proposed tests are distribution-free in the class of multivariate distributions with continuous margins, implementable without the need for permutation, and are shown to be rate-optimal against sparse alternatives under the Gaussian copula model. As a by-product of the study, we reveal an identity between the aforementioned three rank correlation statistics, and hence make a step towards proving a conjecture of Bergsma and Dassios.

연구 동기 및 목표

• 비선형적이고 비단조적일 수 있는 의존성을 탐지할 수 있는 일致적 고차원 독립성 검정을 개발하기 위해.
• 선형 및 단순 순위 상관계수 검정이 복잡한 의존성 구조를 포착하는 데 한계가 있음을 해결하기 위해.
• 고급 순위 상관계수 측정치를 기반으로 한 최댓값 유형 검정의 이론적 기반을 마련하기 위해.
• 고차원 점근 이론 하에서 희박한 대립가설에 대해 제안된 검정의 속도 최적성을 증명하기 위해.
• Hoeffding의 $D$, Blum–Kiefer–Rosenblatt의 $R$, 그리고 Bergsma–Dassios–Yanagimoto의 $\tau^*$ 세 순위 상관계수 간의 새로운 동치관계를 규명하기 위해.

제안 방법

• 모든 변수 쌍 간의 순위 상관계수 추정치의 최댓값으로 검정 통계량을 구성한다.
• Hoeffding의 $D$, Blum–Kiefer–Rosenblatt의 $R$, Bergsma–Dassios–Yanagimoto의 $\tau^*$를 추정하기 위해 비퇴화 U-통계량을 활용한다.
• 비퇴화 U-통계량에 대한 새로운 Cramér 유형의 중간 편차 정리를 유도하여 점근적 귀무분포를 확립한다.
• 고차원 점근 이론 하에서 이러한 순위 상관계수의 최댓값이 비표준 Gumbel 분포로 수렴함을 보인다.
• 연속적 누산분포 하에서 분포무관성을 입증하며, 크기 제어를 위해 순열 샘플링이 필요하지 않음을 보인다.
• 세 순위 상관계수 간의 새로운 동치관계를 활용하여 이들의 이론적 처리를 통합한다.

실험 결과

연구 질문

• RQ1 고차원 순위 상관계수 기반의 최댓값 유형 검정은 고차원 환경에서 쌍별 의존성을 일관되게 탐지할 수 있는가?
• RQ2 고차원에서 쌍별 순위 상관계수의 최댓값의 점근적 귀무분포는 무엇인가?
• RQ3 가우시안 코프룰라 모델 하에서 제안된 검정들은 희박한 대립가설에 대해 속도 최적성인가?
• RQ4 Hoeffding의 $D$, Blum–Kiefer–Rosenblatt의 $R$, Bergsma–Dassios–Yanagimoto의 $\tau^*$ 간의 근본적인 동치관계가 존재하는가?
• RQ5 제안된 검정들은 순열 없이도 정확한 크기 제어를 유지하면서 구현 가능한가?

주요 결과

• 고차원 점근 이론 하에서 쌍별 순위 상관계수의 최댓값의 귀무분포는 비표준 Gumbel 분포로 수렴한다.
• 제안된 검정들은 연속적 누산분포 하에서 분포무관이며, 크기 제어를 위해 순열을 필요로 하지 않는다.
• 가우시안 코프룰라 모델 하에서 희박한 대립가설에 대해 검정들은 속도 최적성을 입증하였으며, 최소최대 최적 속도를 달성한다.
• 실험적 검정력 시뮬레이션 결과, 특히 $\tau^*$ 기반 검정들이 다른 경쟁 검정들보다 균일하게 뛰어난 성능을 보였다.
• 세 순위 상관계수 $D$, $R$, $\tau^*$는 새로운 동치관계를 만족하며, Bergsma와 Dassios의 추측을 뒷받침한다.
• 다양한 $n$과 $p$ 설정에서 검정의 경험적 크기는 명목 수준(예: 0.05)에 매우 가까운 수준을 유지하며, 신호 강도 $\alpha$가 증가함에 따라 검정력이 단조적으로 증가한다.