[논문 리뷰] Multivariate Rank-based Distribution-free Nonparametric Testing using Measure Transportation

Nabarun Deb, Bodhisattva Sen|arXiv (Cornell University)|2019. 09. 18.

Bayesian Methods and Mixture Models참고 문헌 125인용 수 35

한 줄 요약

본 논문은 측도 운송을 통해 다변량 랭크를 정의함으로써 분포에 의존하지 않는(nonparametric) 다변량 설정의 일반 프레임워크를 제시하고, 다변량 독립성의 테스트와 다변량 분포의 동등성에 대해 정확한 분포에 의존하지 않는 테스트를 가능하게 하며, 일관성과 점근적 결과를 제시한다.

ABSTRACT

In this paper, we propose a general framework for distribution-free nonparametric testing in multi-dimensions, based on a notion of multivariate ranks defined using the theory of measure transportation. Unlike other existing proposals in the literature, these multivariate ranks share a number of useful properties with the usual one-dimensional ranks; most importantly, these ranks are distribution-free. This crucial observation allows us to design nonparametric tests that are exactly distribution-free under the null hypothesis. We demonstrate the applicability of this approach by constructing exact distribution-free tests for two classical nonparametric problems: (I) testing for mutual independence between random vectors, and (II) testing for the equality of multivariate distributions. In particular, we propose (multivariate) rank versions of distance covariance ((Székely et al. [117]) and energy statistic (Székely and Rizzo [116]) for testing scenarios (I) and (II) respectively. In both these problems we derive the asymptotic null distribution of the proposed test statistics. We further show that our tests are consistent against all fixed alternatives. Moreover, the proposed tests are computationally feasible and are well-defined under minimal assumptions on the underlying distributions (e.g., they do not need any moment assumptions). We also demonstrate the efficacy of these procedures via extensive simulations. In the process of analyzing the theoretical properties of our procedures, we end up proving some new results in the theory of measure transportation and in the limit theory of permutation statistics using Stein’s method for exchangeable pairs, which may be of independent interest.

연구 동기 및 목표

• 다변량 차원에서 분포에 의존하지 않는 비모수 검정을 동기 부여하고 개발한다.
• NULL 하에서 분포 독립성을 달성하기 위해 최적 운송을 통해 다변량 랭크를 도입한다.
• 두 가지 고전적 문제에 대해 거리=의 연관성 및 에너지 통계의 랭크 기반 유사체를 구성한다.
• 가설에 대한 점근적 영 분포를 확립하고 고정된 대안에 대해 일관성을 증명한다.

제안 방법

• 실험 데이터와 Halton/준-몬테카를로 격자 간의 최적 운transport를 사용하여 모집단 및 경험적 다변량 랭크를 정의한다.
• 절대연속성 하에서 경험적 다변량 랭크의 분포 독립성을 증명한다.
• 거리-공분산에서 데이터를 다변량 랭크로 대체하여 다변량 독립성에 대한 랭크 기반의 분포-독립 테스트를 얻는다.
• 에너지 통계에서 데이터를 다변량 랭크로 대체하여 다변량 분포의 등가성에 대한 랭크 기반의 분포-독립 테스트를 얻는다.
• 제안된 테스트의 점근적 영 분포를 도출하고 모든 고정된 대안에 대해 일관성을 증명한다.
• assignments 문제 및 표준 소프트웨어를 사용한 계산적 측면 및 다시-샘플 확장 모형을 제시한다.

실험 결과

연구 질문

• RQ1 측도 운송에 의해 정의된 다변량 랭크가 영 하에서 다변량 문제에 대해 분포 독립적인 테스트를 제공할 수 있는가?
• RQ2 거리 공분산과 에너지 통계가 다변량 랭크로 어떻게 적용되어 분포 독립적인 테스트를 얻을 수 있는가?
• RQ3 제시된 랭크 기반 테스트가 모든 고정 대안에 대해 일관성을 가지며 점근적 영 분포는 어떠한가?
• RQ4 실무에서의 계산적 및 최소 가정 요건은 무엇인가?
• RQ5 이 프레임워크를 다변량 테스트의 두 문제를 넘어 다중 샘플 등으로 확장할 수 있는가?

주요 결과

• 제안된 다변량 랭크 기반 테스트는 주변한에서 경계가 절대 연속일 때 정확히 분포-독립적이다.
• 랭크 거리 공분산 및 랭크 에너지 통계는 모든 고정 대안에 대해 일관성을 가지며 근본 분포와 무관한 점근적 영 분포를 가진다.
• 다변량 랭크 기반 척도의 모집단 버전은 일변량에서 Spearman의 rho 및 Kolmogorov–Smirnov에 대응하는 Cramér–von Mises 통계와 연결된다.
• 프레임워크는 매개변수 조정 없이 유한샘플에서의 분포 독립성을 제공하며, 할당 문제를 통한 계산 가능성을 갖는다.
• 다중 샘플 설정으로의 확장 가능성이 있으며 대칭성 및 기타 다변량 비모수 문제에 적용할 수 있다.
• 시뮬레이션에서 강력한 검정력과 무거운 꼬리 및 이상치에 대한 내성 면에서 경쟁 방법과 대등한 성능을 보인다.