[논문 리뷰] Power of Graph-Based Two-Sample Tests

Bhaswar B. Bhattacharya|arXiv (Cornell University)|2015. 08. 30.

Advanced Statistical Methods and Models참고 문헌 47인용 수 7

한 줄 요약

이 논문은 다변량 데이터에서 기하학적 그래프와 데이터 깊이 접근법을 통합한 그래프 기반 두 표본 검정을 위한 통합 프레임워크를 제안한다. 레캄의 국소 점근 정규성 이론을 이용해 점근적 효율성을 도출하며, 프리드먼-래프스키 및 K-NN와 같은 기하학적 그래프 검정이 $O(N^{-1/2})$ 대안에 대해 페르미트 효율이 0임을 보이고, 깊이 기반 검정의 효율성도 동일한 방식으로 비교 분석한다.

ABSTRACT

Testing equality of two multivariate distributions is a classical problem for which many non-parametric tests have been proposed over the years. Most of the popular tests are based either on geometric graphs constructed using inter-point distances between the observations (multivariate generalizations of the Wald-Wolfowitz's runs test) or on multivariate data-depth (generalizations of the Mann-Whitney rank test). These tests are known to be asymptotically normal under the null, and consistent against fixed alternatives. This paper introduces a general notion of graph-based two-sample tests, which includes the tests described above, and provides a unified framework for analyzing their asymptotic properties. The asymptotic efficiency of a general graph-based test is derived using Le Cam's theory of local asymptotic normality, which provides a theoretical basis for comparing the tests. As a consequence, it is shown that tests based on geometric graphs such as the Friedman-Rafsky test (1979), the test based on the $K$-nearest neighbor graph, and the cross-match test of Rosenbaum (2005) have zero asymptotic (Pitman) efficiency against $O(N^{-\frac{1}{2}})$ alternatives. Asymptotic efficiencies of the tests based on multivariate depth functions (the Liu-Singh rank sum statistic (1993)) are also derived from the proposed general theory. Applications of these results are illustrated both on synthetic and real datasets.

연구 동기 및 목표

• 기하학적 그래프와 데이터 깊이 기반 기존 비모수적 두 표본 검정을 하나의 이론적 프레임워크로 통합하기.
• 일반적인 수식으로 기반한 그래프 기반 두 표본 검정의 점근적 성질 분석하기.
• 레캄의 국소 점근 정규성 이론을 이용해 검정 성능 비교를 위한 점근적 효율성 유도하기.
• 국소 대안에 대해 기하학적 그래프 기반 검정(예: 프리드먼-래프스키, K-NN, 크로스매치)의 효율성 평가하기.
• 리우-싱 검정 통계량과 같은 깊이 기반 검정의 효율성 분석을 확장하기.

제안 방법

• 상호 점 간 거리 또는 데이터 깊이에서 유도된 임의의 그래프를 이용한 그래프 기반 두 표본 검정의 일반적 클래스 제안.
• 레캄의 국소 점근 정규성 이론을 적용하여 검정의 점근적 상대 효율성 유도.
• 귀무가설 및 국소 대안 하에서 검정 통계량의 점근적 분포 유도.
• 국소 대안 하에서 페르미트 효율을 계산하기 위해 검정 통계량의 점근 정규성을 활용.
• 구축 방법에 따라 그래프 내 간선 수 또는 깊이 기반 순위를 기반으로 검정 통계량 구성.
• 합성 및 실세계 데이터셋에 대한 시뮬레이션과 실제 응용을 통해 이론적 결과의 타당성 검증.

실험 결과

연구 질문

• RQ1 기하학적 그래프 기반 및 깊이 기반 두 표본 검정은 어떻게 하나의 이론적 프레임워크로 통합될 수 있는가?
• RQ2 국소 대안 하에서 그래프 기반 두 표본 검정의 점근적 효율성은 무엇인가?
• RQ3 왜 프리드먼-래프스키 및 K-NN와 같은 기하학적 그래프 기반 검정은 $O(N^{-1/2})$ 대안에 대해 점근적 효율이 0인가?
• RQ4 동일한 점근적 프레임워크 하에서 리우-싱 검정 통계량과 같은 깊이 기반 검정의 효율은 어떻게 비교되는가?
• RQ5 제안된 프레임워크는 유한 표본 설정에서 그래프 기반 검정 간 성능 차이를 예측할 수 있는가?

주요 결과

• 기하학적 그래프 기반 검정, 즉 프리드먼-래프스키 검정, K-NN 그래프 검정, 로젠바움의 크로스매치 검정은 $O(N^{-1/2})$ 대안에 대해 점근적 페르미트 효율이 0임을 입증.
• 제안된 일반적 프레임워크를 통해 기하학적 그래프 및 깊이 기반 두 표본 검정의 일관된 점근적 분석이 가능.
• 다변량 데이터 깊이 기반 리우-싱 순위 합 통계량이 동일한 이론적 프레임워크 하에서 비영점 점근적 효율을 가지는 것으로 밝혀짐.
• 귀무가설 및 국소 대안 하에서 검정 통계량의 점근 정규성이 확립되어 효율성 비교가 가능.
• 이론적 효율 결과는 합성 및 실세계 데이터셋에 대한 응용을 통해 검증되었으며, 예측과 일관됨을 보임.
• 이 프레임워크는 점근적 효율 성질에 기반한 최적의 그래프 기반 검정 선택에 대한 이론적 근거를 제공함.