[논문 리뷰] Distribution-Free Tests of Independence with Applications to Testing More Structures

Fang Han, Han Liu|arXiv (Cornell University)|2014. 10. 15.

Random Matrices and Applications참고 문헌 69인용 수 13

한 줄 요약

이 논문은 n개의 i.i.d. 표본을 사용하여 d차원 랜덤 벡터의 상호독립성 검정을 위한 분포 자유 순위 기반 검정 통계량을 제안한다. 이 검정들, 특히 켄달의 타우와 스피어만의 rho를 기반으로 한 검정들이 최적의 수렴 속도를 가지며, 최대 상관계수 값이 절대 상수 C에 대해 √(log d / n)를 초과할 경우 검정의 검정력이 1으로 수렴함을 입증한다. 또한 이 틀을 m-의존성과 데이터 동질성 검정으로 확장한다.

ABSTRACT

We consider the problem of testing mutual independence of all entries in a d-dimensional random vector X = (X1,..., Xd) T based on n independent observations. For this, we consider two families of distribution-free test statistics that converge weakly to an extreme value type I distribution. We further study the powers of the corresponding tests against certain alternatives. In particular, we show that the powers tend to one when the maximum magnitude of the pairwise Pearson’s correlation coefficients is larger than C log d/n for some absolute constant C. This result is rate optimal. As important examples, we show that the tests based on Kendall’s tau and Spearman’s rho are rate optimal tests of independence. For further generalization, we consider accelerating the rate of convergence via approximating the exact distributions of the test statistics. We also study the tests of two more structural hypotheses: m-dependence and data homogeneity. For these, we propose two rank-based tests and show their optimality.

연구 동기 및 목표

• 고차원 랜덤 벡터에서 상호독립성을 검정하기 위해 비모수적 분포를 가정하지 않는 분포 자유 검정을 개발한다.
• 약한 의존성 가정 하에 순위 기반 검정 통계량의 수렴 속도 최적성(레이트 옵티멀리티)을 확립한다.
• m-의존성과 데이터 동질성과 같은 추가적인 구조적 가설 검정으로 이 틀을 확장한다.
• 분포 근사 기법을 통해 정확한 귀무분포로의 수렴 속도를 가속화한다.

제안 방법

• d차원 벡터에서의 상호독립성 검정을 위한 순위 상관계수(케נדל의 타우, 스피어만의 로프) 기반의 두 가닥의 분포 자유 검정 통계량을 제안한다.
• 상호독립성의 귀무가설 하에서 검정 통계량이 제1형 극값 분포로 약한 수렴함을 입증한다.
• 최대 상관계수가 C√(log d / n)를 초과하는 대립가설 하에서 검정 통계량의 행동을 분석함으로써 점점 커지는 검정력 결과를 도출한다.
• 정확한 귀무분포로의 수렴 속도를 가속화하기 위해 분포 근사 기법을 도입하여 유한 표본 성능을 향상시킨다.
• 유사한 순위 기반 통계량을 사용하여 m-의존성과 데이터 동질성과 같은 구조적 가설 검정으로 검정 틀을 확장한다.
• 최소 신호 강도 조건 하에서 검정의 검정력이 1으로 수렴함을 보여 최적성(optimality)을 입증한다.

실험 결과

연구 질문

• RQ1 상호독립성 검정을 위한 순위 기반 통계량은 약한 의존성 가정 하에서 분포 자유이며 수렴 속도 최적인가?
• RQ2 검정의 점점 커지는 검정력이 1이 되기 위해 필요한 최소 신호 강도는 무엇이며, 이 수렴 속도는 최적인가?
• RQ3 분포 근사 기법을 통해 검정 통계량의 귀무분포로의 수렴 속도를 가속화할 수 있는가?
• RQ4 이 틀은 m-의존성과 데이터 동질성 검정으로 확장 가능하며, 유사한 최적성 보장을 갖는가?

주요 결과

• 케נדל의 타우와 스피어만의 로프를 기반으로 한 제안된 검정들은 상호독립성 검정에서 수렴 속도 최적이다.
• 최대 상관계수의 절대값이 어떤 절대 상수 C에 대해 √(log d / n)를 초과할 경우 검정의 검정력이 1으로 수렴한다.
• 귀무가설인 상호독립성 하에서 검정 통계량은 제1형 극값 분포로 약한 수렴한다.
• 유사한 순위 기반 통계량을 사용하여 m-의존성과 데이터 동질성 검정으로 이 틀이 성공적으로 확장되었다.
• 분포 근사 기법이 정확한 귀무분포로의 수렴 속도를 가속화함을 보여 유한 표본 성능이 향상됨을 입증하였다.
• 결과적으로 고차원 환경에서 의존성 탐지의 날카로운 임계값을 확립하였으며, 이는 알려진 최소 최대 하한값과 일치한다.