[논문 리뷰] On Wasserstein Two Sample Testing and Related Families of Nonparametric Tests

Aaditya Ramdas, N. Garcı́a외 1명|arXiv (Cornell University)|2015. 09. 07.

Advanced Statistical Methods and Models인용 수 30

한 줄 요약

이 논문은 워샤르스타인 거리 통한 비모수적 두 표본 검정을 통합하는 프레임워크를 수립하며, 코모고로프-스미르노프 검정과 QQ 플롯과 같은 단변량 방법에서 에너지 거리와 최대 평균 불일치(MMD)와 같은 다변량 검정으로 이르는 연결 고리를 밝힌다. 이는 엔트로피 스무딩을 통해 이루어진다. 주요 기여는 ODC(관측된 대비 기대 누적) 곡선에서 유도된 분포 무관 워샤르스타인 검정이며, 귀무가설 하에서 기저 누적분포함수(CDF)에 영향을 받지 않는 귀무분포를 가진다.

ABSTRACT

Nonparametric two sample or homogeneity testing is a decision theoretic problem that involves identifying differences between two random variables without making parametric assumptions about their underlying distributions. The literature is old and rich, with a wide variety of statistics having being intelligently designed and analyzed, both for the unidimensional and the multivariate setting. Our contribution is to tie together many of these tests, drawing connections between seemingly very different statistics. In this work, our central object is the Wasserstein distance, as we form a chain of connections from univariate methods like the Kolmogorov-Smirnov test, PP/QQ plots and ROC/ODC curves, to multivariate tests involving energy statistics and kernel based maximum mean discrepancy. Some connections proceed through the construction of a \ extit{smoothed} Wasserstein distance, and others through the pursuit of a "distribution-free" Wasserstein test. Some observations in this chain are implicit in the literature, while others seem to have not been noticed thus far. Given nonparametric two sample testing's classical and continued importance, we aim to provide useful connections for theorists and practitioners familiar with one subset of methods but not others.

연구 동기 및 목표

• 비모수적 두 표본 검정의 다양한 방법을 워샤르스타인 거리 프레임워크로 통합하기 위해.
• 단변량 도구(예: QQ 플롯, 코모고로프-스미르노프 검정)와 다변량 방법(예: 에너지 거리, MMD) 사이의 공식적 연결 고리를 설정하기 위해.
• ODC 곡선과 확률분포함수 변환을 활용하여 분포 무관 단변량 워샤르스타인 검정을 개발하기 위해.
• 워샤르스타인 거리의 엔트로피 스무딩이 워샤르스타인 거리와 에너지 거리 통계량 사이를 연속적으로 보간함을 보여주기 위해.
• 워샤르스타인 기반 검정 통계량의 점근적 귀무분포를 브라운 운동 다리 근사법을 통해 명확히 하기 위해.

제안 방법

• 귀무가설 하에서 경험적 누적분포함수를 균일 분포 변수로 변환하기 위해 확률분포함수 변환을 사용하여 분포 무관 검정을 가능하게 한다.
• ODC(관측된 대비 기대 누적) 곡선을 정의하며, 이는 귀무가설 하에서 변환된 데이터의 경험적 누적분포함수로, 약한 수렴으로 브라운 운동 다리로 수렴한다.
• 워샤르스타인 거리에 엔트로피 스무딩을 적용하여 워샤르스타인 거리와 에너지 거리 사이의 연속적인 보간 통계량을 생성한다.
• 경험적 ODC 곡선과 균일 분포 사이의 워샤르스타인 거리의 점근적 분포를 유도하며, 이가 브라운 운동 다리의 기능적 함수로 수렴함을 보여준다.
• ODC 곡선과 균일 누적분포함수 사이의 워샤르스타인 거리의 귀무분포가 기저 분포 F에 영향을 받지 않음을 입증하여 분포 무관 추론을 가능하게 한다.
• 카르헨-로이브 전개를 사용하여 극한 과정을 가중치가 부여된 카이제곱 변수의 무한합으로 표현한다.

실험 결과

연구 질문

• RQ1 워샤르스타인 거리는 어떻게 단변량 및 다변량 비모수적 두 표본 검정을 통합하는 데 사용될 수 있는가?
• RQ2 워샤르스타인 거리와 전통적인 단변량 도구(예: QQ 플롯, 크라머-빈 모이즈 검정) 사이의 관계는 무엇인가?
• RQ3 워샤르스타인 거리의 엔트로피 스무딩은 에너지 거리와 최대 평균 불일치(MMD)와 어떻게 관련이 있는가?
• RQ4 분포 무관 단변량 워샤르스타인 검정을 구성할 수 있으며, 만약 가능하면 그 방법은 무엇인가?
• RQ5 변환된 경험적 누적분포함수에 적용된 워샤르스타인 거리의 점근적 귀무분포는 무엇인가?

주요 결과

• 경험적 ODC 곡선과 균일 분포 사이의 워샤르스타인 거리의 귀무분포는 기저 누적분포함수 F에 영향을 받지 않으며, 이는 분포 무관 검정을 가능하게 한다.
• 귀무가설 하에서 스케일링된 워샤르스타인 거리 $ \sqrt{\frac{mn}{m+n}} W_\infty $ 는 표준 브라운 운동 다리의 최대값으로 약한 수렴한다.
• 스케일링된 제곱 워샤르스타인 거리 $ \frac{mn}{m+n} W_2^2 $ 는 [0,1]에서 브라운 운동 다리의 제곱의 적분으로 약한 수렴한다.
• 워샤르스타인 거리의 엔트로피 스무딩은 워샤르스타인 거리와 에너지 거리 사이를 연속적으로 보간하는 통계량의 가족을 생성한다.
• ODC 곡선은 워샤르스타인 검정과 ROC/ODC 곡선 분석 사이의 직접적인 연결 고리를 제공하며, 귀무가설 하에서 검정 통계량이 분포 무관임을 보여준다.
• 워샤르스타인 기반 검정 통계량의 점근적 분포는 브라운 운동 다리를 포함하는 기능적 극한정리로 특징지어지며, 진짜 누적분포함수의 지식 없이도 유효한 추론을 가능하게 한다.