[논문 리뷰] Consistent distribution-free $K$-sample and independence tests for univariate random variables

Ruth Heller, Yair Heller외 3명|arXiv (Cornell University)|2014. 10. 24.

Advanced Statistical Methods and Models참고 문헌 36인용 수 50

한 줄 요약

이 논문은 모든 분할 크기에서의 테스트 점수 집계를 통해 단변량 랜덤 변수에 대한 일致적이고 분포에 종속되지 않는 $K$-샘플 및 독립성 검정을 제안한다. 분할에 대해 합과 최대화를 조합함으로써, 최적의 분할 기반 검정과 비슷한 높은 검정력을 확보하면서도 다항식 시간 복잡도를 가지며 다양한 종속성 구조에서 뛰어난 경험적 성능을 발휘한다.

ABSTRACT

A popular approach for testing if two univariate random variables are statistically independent consists of partitioning the sample space into bins, and evaluating a test statistic on the binned data. The partition size matters, and the optimal partition size is data dependent. While for detecting simple relationships coarse partitions may be best, for detecting complex relationships a great gain in power can be achieved by considering finer partitions. We suggest novel consistent distribution-free tests that are based on summation or maximization aggregation of scores over all partitions of a fixed size. We show that our test statistics based on summation can serve as good estimators of the mutual information. Moreover, we suggest regularized tests that aggregate over all partition sizes, and prove those are consistent too. We provide polynomial-time algorithms, which are critical for computing the suggested test statistics efficiently. We show that the power of the regularized tests is excellent compared to existing tests, and almost as powerful as the tests based on the optimal (yet unknown in practice) partition size, in simulations as well as on a real data example.

연구 동기 및 목표

• 복잡한 비단조화적 비선형 관계를 탐지할 수 있는 일致적이고 분포에 종속되지 않는 검정의 필요성을 해결한다.
• 비선형 또는 비단조화적 관계에 대해 검정력이 떨어지는 전통적 검정(예: 피어슨, 스피어만)의 한계를 극복한다.
• 유전체학 등 수천 개의 변수 쌍을 동시에 검정해야 하는 대규모 가설 검정 문제에 적합한 계산 효율적인 방법을 개발한다.
• 동일한 핵심 방법론을 사용하여 $K$-샘플 검정과 독립성 검정을 모두 처리할 수 있는 통합 프레임워크를 제공한다.
• 일반적으로 실무에서 알려져 있지 않은 최적의 분할 크기를 알 필요 없이 거의 최적의 검정력을 달성한다.

제안 방법

• 고정된 크기 $m$의 분할에 대해 점수의 합 또는 최댓값을 기반으로 한 검정 통계량을 제안하며, 이 점수들은 구간화된 $X$와 $Y$ 간의 연관성을 평가한다.
• 구간화에 대해 우도비 점수를 사용하여, 모든 크기 $m$의 분할에 대해 $S_m$ (합) 및 $M_m$ (최대) 통계량을 계산한다.
• 모든 분할 크기 $m$에 대해 집계하는 정규화된 검정을 도입하며, 개별 $m$-기반 검정의 $p$-값을 $\min_m p_m$ 또는 $\max_m p_m$를 사용해 조합한다.
• 대규모 데이터셋에 적용 가능한 효율적인 다항식 시간 알고리즘을 개발하여 검정 통계량을 빠르게 계산한다.
• 순열 기반의 $p$-값 추정을 통해 분포에 종속되지 않는 성질을 확보하여 귀무분포가 변량의 주변분포에 영향을 받지 않도록 한다.
• 범주형 변수를 분할된 $X$로 간주함으로써, 동일한 방법을 독립성 검정과 $K$-샘플 문제에 모두 적용한다.

실험 결과

연구 질문

• RQ1 특정한 매개수 형태의 종속성 가정 없이, 분포에 종속되지 않는 검정이 모든 대안에 대해 일치성을 확보할 수 있는가?
• RQ2 다양한 분할 크기에 걸쳐 집계하면 고정된 크기의 분할에 비해 검정력이 어떻게 향상되는가?
• RQ3 제안된 방법이 알려져 있지 않은 최적의 분할 크기를 사용하는 검정과 비슷하거나 이를 능가할 수 있는가?
• RQ4 유전체학과 같은 분야에서 대규모 데이터에 적용할 경우, 이러한 검정의 계산 가능성은 어떠한가?
• RQ5 다양한 종속성 구조에서, 정규화된 검정의 성능이 dCov, HHG, MIC, 스피어만과 같은 기존 비모수 검정과 비교해 어떻게 되는가?

주요 결과

• 최적의 분할 크기를 사용하는 검정과 거의 동일한 검정력을 확보하는 $\min_m p_m$ 기반 정규화된 검정은 모든 시뮬레이션된 종속성 구조에서 검정력 손실가 최소화된다.
• 단조적 관계의 경우, 합 기반 변형 $S_m$이 뛰어난 성능을 보이며 스피어만 및 후딩 검정과 유사한 성능을 보이며, $M_m$ 변형은 복잡한 상황에서 뛰어난 성능을 발휘한다.
• 사인, 헤비신, 나선형, 원형 예제에서 제안된 최소 $p$-값 검정은 dCov와 HHG를 뛰어넘는 성능을 보이며, 일부 경우에서 검정력이 최대 30% 향상된다.
• DDP 또는 ADP 점수를 사용하는 $\min_m p_m$ 기반 검정은 $N=100$일 때 지수관계(Exp2x)에서 검정력 0.763을 달성하여, MIC(0.198)와 dCov(0.746)를 모두 능가한다.
• 이 방법은 비단조화적이고 비선형적인 종속성과 같은 다양한 복잡한 관계에서도 고정밀도를 유지하며, 전통적 검정이 실패하는 상황에서도 유의미한 성능을 발휘한다.
• 다항식 시간 계산 성능 덕분에, 유전체학에서 $2 \times 10^7$개의 유전자 쌍을 검정하는 대규모 테스트 문제에도 실용적으로 적용 가능하며, 순열 기반 검정이 계산적으로 불가능한 문제에 대해서도 적용 가능하다.