[논문 리뷰] On the High-dimensional Power of Linear-time Kernel Two-Sample Testing under Mean-difference Alternatives

Aaditya Ramdas, Sashank J. Reddi외 3명|arXiv (Cornell University)|2014. 11. 23.

Statistical Methods and Inference참고 문헌 16인용 수 7

한 줄 요약

이 논문은 고차원 설정에서 평균 이동 대안 하에서 선형 시간 MMD 검정의 능력을 처음으로 명시적으로 특성화한다. 신호 대 잡음 비율이 일정할 때 표본 크기 n이 차원 d보다 빠르게 증가하면 검정의 검정력이 1에 수렴함을 보여준다. 분석 결과, 대역폭이 차원에 적절하게 스케일링될 경우 고차원에서도 검정이 높은 검정력을 유지함을 입증하여, 현대 데이터 환경에서 비모수적 두 표본 검정에 대한 강건성을 확인한다.

ABSTRACT

Nonparametric two sample testing deals with the question of consistently deciding if two distributions are different, given samples from both, without making any parametric assumptions about the form of the distributions. The current literature is split into two kinds of tests - those which are consistent without any assumptions about how the distributions may differ ( extit{general} alternatives), and those which are designed to specifically test easier alternatives, like a difference in means ( extit{mean-shift} alternatives). The main contribution of this paper is to explicitly characterize the power of a popular nonparametric two sample test, designed for general alternatives, under a mean-shift alternative in the high-dimensional setting. Specifically, we explicitly derive the power of the linear-time Maximum Mean Discrepancy statistic using the Gaussian kernel, where the dimension and sample size can both tend to infinity at any rate, and the two distributions differ in their means. As a corollary, we find that if the signal-to-noise ratio is held constant, then the test's power goes to one if the number of samples increases faster than the dimension increases. This is the first explicit power derivation for a general nonparametric test in the high-dimensional setting, and also the first analysis of how tests designed for general alternatives perform when faced with easier ones.

연구 동기 및 목표

• 고차원 점점 증가하는 설정에서 일반적인 비모수적 두 표본 검정(가우시안 커널을 사용한 선형 시간 MMD)의 검정력을 평균 이동 대안 하에서 특성화하기.
• 일반적인 대안을 대비로 설계된 검정이 더 쉬운, 구조화된 대안(예: 평균 차이)에 직면했을 때의 성능을 분석하기.
• 표본 크기 n과 차원 d가 모두 무한대에 접근할 때 검정의 검정력에 대한 정밀한 점근적 표현을 유도하기.
• 베리-에센 경계, 검정 통계량의 정규성, 차원 및 대역폭에 따른 MMD의 스케일링을 포함한 시뮬레이션을 통해 이론적 예측을 검증하기.

제안 방법

• U-통계량 이론과 중심극한정리 등을 활용하여 평균 이동 대안 하에서 선형 시간 MMD 통계량의 점근적 분포를 유도한다.
• 베리-에센 정리를 적용하여 정규화 수렴 속도를 경계하며, 이 경계가 차원 d에 영향을 받지 않음을 보여준다.
• 3차까지의 모집단 수준의 모멘트를 사용하여 귀무가설과 대립가설 하에서 검정 통계량의 분산과 왜도를 유도한다.
• 적절하게 정규화된 검정 통계량이 귀무가설 하에서는 표준 정규분포로 수렴하고, 대립가설 하에서는 비비율모수를 갖는다는 것을 입증한다.
• 가우시안 및 t-분포 데이터를 사용한 몬테카를로 시뮬레이션을 통해 이론적 예측을 검증한다. 다양한 차원과 대역폭에서 수행된다.
• 신호 대 잡음 비율이 일정할 때 검정의 검정력이 1/√d 비례로 스케일링되며, n이 d에 비례 증가할 경우 검정력이 일정하게 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 표본 크기 n과 차원 d가 모두 무한대에 접근할 때, 평균 이동 대안 하에서 선형 시간 MMD 검정의 검정력은 어떻게 행동하는가?
• RQ2 특히 n/d 비율과 관련하여 고차원 설정에서 검정의 검정력의 정밀한 점근적 스케일링은 무엇인가?
• RQ3 d → ∞일 때 평균 이동 대안 하에서 검정이 일치성을 유지하는가? 만약 그렇다면 n과 d 사이의 어떤 조건에서 성립하는가?
• RQ4 대역폭 γ의 선택이 검정의 검정력에 어떤 영향을 미치며, γ = Ω(√d)일 경우 스케일링이 γ에 독립적인가?
• RQ5 귀무가설과 대립가설 하에서 검정 통계량의 분포가 고차원에서 얼마나 정규분포에 가까운가?

주요 결과

• 신호 대 잡음 비율이 일정할 조건에서, 가우시안 커널을 사용한 선형 시간 MMD 검정의 검정력은 n → ∞이며 n이 d를 초과할 경우 1에 수렴한다.
• 신호 대 잡음 비율이 일정하고 n이 일정할 경우 검정력이 1/√d 비례로 스케일링되며, 이는 이론적 예측을 확인한다.
• n = d 이고 신호 대 잡음 비율이 일정할 경우, d가 증가함에 따라 검정력이 약간 일정하게 유지되며, 이는 코로나리 1을 검증한다.
• n = d 이고 신호 대 잡음 비율이 d^{1/4} 비례로 증가할 경우 검정력이 √d 비례로 증가함을 확인하여 코로나리 2를 검증한다.
• 시뮬레이션 결과, 검정 통계량의 베리-에센 경계가 차원과 분포에 관계없이 약 1.65로 거의 일정함을 확인하였으며, 무거운 尾비율을 가진 t₄ 분포에서도 동일하게 유지된다.
• 정규화된 검정 통계량 √n MMD² / √V 는 귀무가설과 대립가설 하에서 모두 표준 정규분포로 수렴하며, 작은 n에서도 빠른 정규성 수렴을 보여준다.