[논문 리뷰] Distribution-free consistent independence tests via center-outward ranks and signs

Hongjian Shi, Mathias Drton외 1명|arXiv (Cornell University)|2019. 09. 22.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 4

한 줄 요약

이 논문은 임의의 차원을 가진 두 개의 다변량 랜덤 벡터 간의 독립성에 대한 분포에 관계없는 일致성 검정을 위한 첫 번째 방법을 제안한다. 이 방법은 거리 공분산과 중심에서 외향 랭크 및 부호를 조합하여, 순열 없이도 점점 정확해지는 근사 null 분포를 달성함으로써 직접 구현이 가능하며, 중간 크기의 표본에서도 고차원에서 강력한 검정력을 보인다.

ABSTRACT

This paper investigates the problem of testing independence of two random vectors of general dimensions. For this, we give for the first time a distribution-free consistent test. Our approach combines distance covariance with the center-outward ranks and signs developed in Hallin (2017). In technical terms, the proposed test is consistent and distribution-free in the family of multivariate distributions with nonvanishing (Lebesgue) probability densities. Exploiting the (degenerate) U-statistic structure of the distance covariance and the combinatorial nature of Hallin's center-outward ranks and signs, we are able to derive the limiting null distribution of our test statistic. The resulting asymptotic approximation is accurate already for moderate sample sizes and makes the test implementable without requiring permutation. The limiting distribution is derived via a more general result that gives a new type of combinatorial non-central limit theorem for double- and multiple-indexed permutation statistics.

연구 동기 및 목표

• 일반 조건 하에서 일반적인 분포에 관계없는 다변량 랜덤 벡터 간의 일致성 독립성 검정을 개발하는 것.
• 기존의 거리 공분산 및 커널 기반 검정이 null 분포에 따라 분포가 달라져 순열이 필요로 하는 한계를 극복하는 것.
• 이전에 단변량 설정에서 사용된 중심에서 외향 랭크 및 부호를 다변량 독립성 프레임워크로 통합하는 것.
• 시험통계량의 점근적 null 분포를 도출하여 분석적으로 다룰 수 있고 중간 표본 크기에서도 정확한 것을 보장하는 것.
• 이러한 순열 통계량에 대한 이중 및 다중 인덱스를 가진 새로운 조합론적 비중앙 극한정리(Non-central limit theorem)를 수립하여 이론적 결과를 뒷받침하는 것.

제안 방법

• 시험은 거리 공분산과 중심에서 외향 랭크 및 부호를 조합하여, 구면 대칭성과 데이터 깊이를 통해 단변량 랭크를 다변량 설정으로 일반화한다.
• 거리 공분산의 탈중심 U-통계량 구조와 중심에서 외향 랭크의 조합론적 성격을 활용하여 점근적 null 분포를 유도한다.
• 이중 및 다중 인덱스를 가진 순열 통계량에 대한 새로운 조합론적 비중앙 극한정리를 통해 시험통계량의 점근적 분포를 유도한다.
• 시험통계량은 중심화된 랭크 기반 거리로 구성되어 있어 단조변환에 대해 불변이며, 귀무가설 하에서 분포에 관계없는 성질을 확보한다.
• 모든 (p,q) 조합에 대해 (1,1)에서 (10,10)까지의 차원에 대해 α=0.1, 0.05, 0.01 수준에서 수치적으로 임계값을 추정하여 직접 적용이 가능하도록 한다.
• 유도된 점근적 null 분포에 기반하여 순열을 피함으로써, 중간 표본 크기에서도 정확한 것으로 입증된 점근적 null 분포를 활용한다.

실험 결과

연구 질문

• RQ1 순열이 필요 없이 분포에 관계없고 일치하는 다변량 독립성 검정을 구성할 수 있는가?
• RQ2 중심에서 외향 랭크 및 부호는 어떻게 다변량 설정으로 확장하여 분포에 관계없는 검정을 가능하게 할 수 있는가?
• RQ3 중심에서 외향 랭크를 사용한 거리 공분산 기반 시험통계량의 점근적 null 분포는 고차원 설정에서 어떻게 되는가?
• RQ4 이러한 순열 통계량의 점근적 이론을 뒷받침하기 위해 새로운 조합론적 비중앙 극한정리를 수립할 수 있는가?
• RQ5 기존 방법들인 마진 랭크 기반 거리 공분산 또는 랭크된 거리 공분산과 비교해 본다면, 제안된 방법의 검정력은 어떻게 되는가?

주요 결과

• 제안된 검정은 일반적인 차원을 가진 두 개의 다변량 랜덤 벡터 간의 독립성 검정에서 분포에 관계없고 일치하는 첫 번째 방법이다.
• 시험통계량의 점근적 null 분포는 분석적으로 도출되었으며, 중간 표본 크기에서도 정확한 것으로 입증되어 순열이 필요 없음을 보였다.
• 모든 (p,q) 조합에 대해 (1,1)에서 (10,10)까지의 차원에 대해 α=0.1, 0.05, 0.01 수준에서 수치적 임계값이 제공되어 직접 적용이 가능하다.
• 시뮬레이션 연구에서, 시험은 고차원(p=q=7)에서도 n=216일 때 높은 검정력을 유지하였으며, 복잡한 종속성 구조를 탐지하는 데 경쟁자들을 능가하였다.
• 예제 C.2에서 마진 랭크 기반 거리 공분산 시험은 가장 높은 검정력을 보였지만, 제안된 방법은 n≥216일 때도 경쟁력 있고 강력한 성능을 보였다.
• 방법은 차원에 민감하며, 표본 크기가 충분할 경우 차원이 증가함에 따라 검정력이 크게 증가하는 경향을 보였다.