[논문 리뷰] Fast Two-Sample Testing with Analytic Representations of Probability Measures

Kacper Chwialkowski, Aaditya Ramdas외 2명|arXiv (Cornell University)|2015. 06. 15.

Gaussian Processes and Bayesian Inference인용 수 73

한 줄 요약

이 논문은 확률 측도의 해석적 표현을 활용하여 선형 시간 복잡도를 갖는 빠르고 일致한 두 표본 검정 두 가지를 제안한다: 스무딩된 경험 특성 함수와 재생 커널 힐버트 공간(RKHS) 내 해석적 평균 임bedding. 이 검정들은 전력 대 계산의 균형을 뛰어나게 확보하며, 특히 고차원 및 미세한 분포 차이가 있는 경우 MMD와 같은 고비용의 이차시간 방법과 비교해도 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a class of nonparametric two-sample tests with a cost linear in the sample size. Two tests are given, both based on an ensemble of distances between analytic functions representing each of the distributions. The first test uses smoothed empirical characteristic functions to represent the distributions, the second uses distribution embeddings in a reproducing kernel Hilbert space. Analyticity implies that differences in the distributions may be detected almost surely at a finite number of randomly chosen locations/frequencies. The new tests are consistent against a larger class of alternatives than the previous linear-time tests based on the (non-smoothed) empirical characteristic functions, while being much faster than the current state-of-the-art quadratic-time kernel-based or energy distance-based tests. Experiments on artificial benchmarks and on challenging real-world testing problems demonstrate that our tests give a better power/time tradeoff than competing approaches, and in some cases, better outright power than even the most expensive quadratic-time tests. This performance advantage is retained even in high dimensions, and in cases where the difference in distributions is not observable with low order statistics.

연구 동기 및 목표

• 대규모 데이터를 위한 선형 시간 복잡도를 갖는 빠르고 일치하는 비모수적 두 표본 검정을 개발하기 위해.
• 이전의 선형 시간 검정이 비스무스 특성 함수에 기반하여 일반적인 대립가설 하에서 일치성이 없음을 해결하기 위해.
• 해석적 표현의 단일 무작위 평가 지점만을 사용하여 일치하는 검정을 가능하게 하여 계산 비용을 감소시키면서도 통계적 전력은 유지하기 위해.
• 최신의 이차시간 방법(MMD 및 에너지 거리 등)과 비교해 전력/계산 비용 균형을 개선하기 위해, 특히 고차원 및 복잡한 분포 차이가 있는 경우에 중점적으로.
• 실제 및 시뮬레이션 벤치마크에서의 강건성과 확장성을 입증하기 위해, 고차원 및 낮은 신호 차이가 있는 상황을 포함하여.

제안 방법

• 첫 번째 검정은 해석적 표현으로 스무딩된 경험 특성 함수를 사용하며, 분포의 차이가 거의 확실하게 단일 무작위 주파수에서 감지 가능하다.
• 두 번째 검정은 재생 커널 힐버트 공간(RKHS) 내 해석적 평균 임베딩을 사용하며, 거리 측정을 단일 무작위 선택 지점에서 수행하여 거의 확실한 단사성 보장.
• 두 방법 모두 해석성 성질에 의존하여, 분포의 차이가 유한한 무작위 선택 지점에서 확률 1로 감지 가능하다는 것을 보장.
• 검정은 해석적 표현의 경험적 추정치를 기반으로 구성되어 있어 선형 시간 계산과 일정한 메모리 사용이 가능하다.
• 통계적 유의성은 순열 검정을 통해 평가되며, 이 방법의 효율성 덕분에 확장 가능한 적용이 가능하다.
• 이전 연구를 일반화하여, 적분 가능한 특성 함수를 갖는 모든 분포에 대해 일치성을 보장하며, RKHS 임베딩을 통해 모든 분포에 대해 일치성을 확보한다.

실험 결과

연구 질문

• RQ1 확률 측도의 해석적 표현을 사용하여 두 표본 검정을 일치성과 선형 시간 복잡도로 동시에 가능하게 할 수 있는가?
• RQ2 스무딩된 특성 함수 또는 해석적 평균 임베딩을 사용하면 단일 평가 지점만으로도 분포의 차이를 일치성 있게 감지할 수 있는가?
• RQ3 이러한 검정의 전력과 계산 효율성은 고차원 및 복잡한 데이터 환경에서 기존의 선형 시간 및 이차시간 방법과 비교해 어떻게 되는가?
• RQ4 저차수 통계량에서 감지되지 않는 미세한 분포 변화, 예를 들어 각운동량 또는 분산 이동과 같은 변화를 검출할 수 있는가?
• RQ5 노이즈 오염 하에서나 단일 차원에서의 미세한 차이가 있는 고차원 데이터에서 이 방법은 높은 전력을 유지하는가?

주요 결과

• 헤이그스 보손 데이터셋에서 MMD는 이차시간이지만 계산 비용이 높기 때문에, 스무딩된 특성 함수(Smooth CF) 검정이 훨씬 높은 전력을 확보했다.
• 헤이그스 데이터셋에서 Smooth CF 검정은 12,000개의 표본까지 높은 전력을 유지했지만, MMD는 계산 제약으로 인해 5,100개 표본까지만 실행 가능했다.
• 노이즈가 추가된 진폭 변조 음악 데이터셋에서, 평균 임베딩 및 Smooth CF 검정은 다른 방법보다 더 강건했으며, 중간 수준의 노이즈 오염 하에서도 높은 전력을 유지했다.
• 단일 차원에서만 다른 고차원 설정에서는 평균 임베딩 검정이 다른 검정보다 뛰어났으며, 특히 분산 이동에 대해 강력한 성능을 보였다. 이는 고차원 중복성 환경에서의 뛰어난 성능을 보여주었다.
• 작은 스케일의 분포 차이가 있는 어려운 Blobs 데이터셋에서는 MMD가 가장 높은 전력을 보였지만 시간/전력 균형이 가장 열 劣했고, 제안된 검정들은 선형 시간 방법 중에서 가장 우수한 균형을 달성했다.
• 모든 벤치마크에서 제안된 검정들은 일致된 성능를 보였으며, 저차수 통계량으로는 감지되지 않는 복잡한 분포 이동에 대해서도 민감함을 입증하여, 복잡한 분포 변화 감지 능력을 확인했다.