[논문 리뷰] The Exact Equivalence of Independence Testing and Two-Sample Testing

Cencheng Shen, Carey E. Priebe외 1명|arXiv (Cornell University)|2019. 10. 20.

Spectroscopy and Chemometric Analyses인용 수 12

한 줄 요약

이 논문은 군 그룹 레이블을 보조 변수로 간주함으로써 이표본 검정과 독립성 검정 간 정확한 동치성을 확립한다. 거리 상관계수와 에너지 통계량이 모집단, 표본, 순열 기반 p-값에서 수학적으로 동일하다는 것을 증명한다. 이 결과는 분포 동일성 검정에 독립성 검정을 보편적으로 적용할 수 있게 하여 해석 가능성과 효율성을 향상시킨다.

ABSTRACT

Testing independence and testing equality of distributions are two tightly related statistical hypotheses. Several distance and kernel-based statistics are recently proposed to achieve universally consistent testing for either hypothesis. On the distance side, the distance correlation is proposed for independence testing, and the energy statistic is proposed for two-sample testing. On the kernel side, the Hilbert-Schmidt independence criterion is proposed for independence testing and the maximum mean discrepancy is proposed for two-sample testing. In this paper, we show that two-sample testing are special cases of independence testing via an auxiliary label vector, and prove that distance correlation is exactly equivalent to the energy statistic in terms of the population statistic, the sample statistic, and the testing p-value via permutation test. The equivalence can be further generalized to K-sample testing and extended to the kernel regime. As a consequence, it suffices to always use an independence statistic to test equality of distributions, which enables better interpretability of the test statistic and more efficient testing.

연구 동기 및 목표

• 이표본 검정과 독립성 검정 간 개념적 및 방법론적 격차를 해소하기 위해.
• 보조 레이블 벡터를 사용하여 이표본 검정이 독립성 검정의 특수한 경우임을 보여주기 위해.
• 거리 기반 및 커널 기반 통계량을 통합하여 분포 동일성 검정을 위한 방법론을 통일하기 위해.
• 거리 상관계수와 에너지 통계량이 모든 통계적 측면에서 정확히 동일하다는 것을 보여주기 위해.
• 모든 분포 동일성 문제를 독립성 검정으로 환원함으로써 더 해석 가능하고 효율적인 검정을 가능하게 하기 위해.

제안 방법

• 보조 레이블 벡터를 도입하여 이표본 검정 문제를 독립성 검정 문제로 변환한다.
• 귀무가설 하에서 모집단 수준의 거리 상관계수 통계량이 에너지 통계량과 동일하다는 것을 증명한다.
• 거리 상관계수와 에너지 통계량 간 표본 수준의 검정 통계량이 동치임을 확립한다.
• 순열 기반 p-값이 두 통계량 모두에서 동일하다는 것을 입증한다.
• 등장성 검정 및 HSIC, MMD와 같은 커널 기반 방법으로까지 동치성을 확장한다.
• 이론적 분석을 통해 독립성 검정이 이표본 검정을 일반화 없이 포함함을 보여준다.

실험 결과

연구 질문

• RQ1 특정 변환 하에서 이표본 검정은 독립성 검정의 특수한 경우인가?
• RQ2 거리 상관계수와 에너지 통계량이 모집단 및 표본 수준에서 동일한 통계량을 제공하는가?
• RQ3 거리 상관계수와 에너지 통계량의 순열 기반 p-값이 정확히 동일한가?
• RQ4 거리 기반 통계량 간의 동치성은 HSIC 및 MMD와 같은 커널 기반 방법으로까지 확장 가능한가?
• RQ5 이 동치성은 분포 동일성 검정의 해석 가능성과 효율성을 향상시키는 통합 프레임워크를 가능하게 하는가?

주요 결과

• 보조 레이블 벡터를 도입함으로써 이표본 검정은 공식적으로 독립성 검정과 동치가 된다.
• 모집단 수준에서 거리 상관계수 통계량은 수학적으로 에너지 통계량과 정확히 동일하다.
• 표본 수준에서 거리 상관계수 통계량과 에너지 통계량의 검정 통계량은 정확히 동일하다.
• 두 통계량에 대한 순열 기반 p-값은 동일하여 실무에서의 동치성을 확인한다.
• 등장성 검정으로까지 동치성이 확장되어 다표본 분포 동일성 검정이 독립성 프레임워크 아래 통합된다.
• 커널 기반 대응 통계량인 HSIC와 MMD 역시 동일한 동치성을 보이며, 거리 기반 및 커널 기반 방법 간 통합 접근이 가능하다.