[논문 리뷰] Comparing distributions: $\ell_1$ geometry improves kernel two-sample testing

Meyer Scetbon, Gaël Varoquaux|arXiv (Cornell University)|2019. 09. 19.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 공간 또는 주파수 영역 위치에서 해석 함수 기대값의 $\ell_1$ 노름을 사용하여 $\ell_1$ 기하학 기반 이항 검정을 제안한다. 이는 커널 기반 이항 검정의 성능을 향상시키며, 최신 $\ell_2$ 기반 방법보다 더 높은 검정력과 더 빠른 계산 속도를 달성한다. 또한 해석 가능한 기능 선택과 합리적이고 일관된 성능을 보이며, 합성 및 실세계 데이터에서의 성능이 뛰어나다.

ABSTRACT

Are two sets of observations drawn from the same distribution? This problem is a two-sample test. Kernel methods lead to many appealing properties. Indeed state-of-the-art approaches use the $L^2$ distance between kernel-based distribution representatives to derive their test statistics. Here, we show that $L^p$ distances (with $p\geq 1$) between these distribution representatives give metrics on the space of distributions that are well-behaved to detect differences between distributions as they metrize the weak convergence. Moreover, for analytic kernels, we show that the $L^1$ geometry gives improved testing power for scalable computational procedures. Specifically, we derive a finite dimensional approximation of the metric given as the $\ell_1$ norm of a vector which captures differences of expectations of analytic functions evaluated at spatial locations or frequencies (i.e, features). The features can be chosen to maximize the differences of the distributions and give interpretable indications of how they differs. Using an $\ell_1$ norm gives better detection because differences between representatives are dense as we use analytic kernels (non-zero almost everywhere). The tests are consistent, while much faster than state-of-the-art quadratic-time kernel-based tests. Experiments on artificial and real-world problems demonstrate improved power/time tradeoff than the state of the art, based on $\ell_2$ norms, and in some cases, better outright power than even the most expensive quadratic-time tests.

연구 동기 및 목표

• 기존의 $\ell_2$ 기반 메트릭에 의존하는 커널 이항 검정의 한계를 해결하기 위해, 분포 간 차이를 부족하게 결정짓는 데 기여할 수 있는 메트릭을 개선하고자 한다.
• 커널 기반 분포 표현자에 대한 $\ell_1$ 기하학을 활용하여 더 강력하고 확장 가능한 이항 검정을 개발하고자 한다.
• 분포가 다른 곳을 강조하는 해석 가능한 검정 위치를 제공하여 모델의 해석 가능성 향상을 도모하고자 한다.
• 최신 $\ell_2$ 기반 및 이차 시간 복잡도 커널 방법과 비교하여 더 높은 통계적 검정력과 계산 효율성을 입증하고자 한다.

제안 방법

• 약한 수렴을 메트라이즈하는 메트릭으로서, 커널 기반 분포 표현자(평균 임bedding 또는 매끄러운 특성 함수) 간의 $L^p$ 거리($p \geq 1$)를 사용한다.
• 분포 표현자 간 차이의 기대값을 $J$개의 위치에서 캡처하는 벡터의 $\ell_1$ 노름으로서 $L^1$ 거리의 유한 차원 근사를 제안한다.
• 해석적 커널을 사용하여 분포 표현자 간의 차이가 조밀하게(거의 어디서나 비영이 되도록) 되도록 보장함으로써, $\ell_1$ 기반 검출 능력을 향상시킨다.
• 검정 위치를 최적화하여 $\ell_1$ 기반 검정 통계량을 최대화함으로써, 해석 가능한 고유 특징 선택과 분류 능력을 향상시킨다.
• 무작위 푸리에 특징을 사용하여 주파수 도메인으로 프레임워크를 적응시켜 선형 시간 계산을 가능하게 한다.
• 서브샘플링과 무작위 특징 근사를 사용하여 일관성과 검정력을 유지하면서도 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 $\ell_1$ 기반 검정이 $\ell_2$ 기반 방법보다 더 높은 검정력을 보이며, 실세계 및 합성 데이터에서 일관된 성능을 보이는가?
• RQ2 해석적 커널 하에서 비영인 차이의 조밀성 덕분에 $\ell_1$ 기반 검정이 분포 간 차이를 더 효과적으로 탐지할 수 있는가?
• RQ3 최신 $\ell_2$ 기반 및 이차 시간 복잡도 커널 방법과 비교해 $\ell_1$ 기반 검정의 검정력과 속도는 어떻게 다른가?
• RQ4 선택된 검정 위치는 분포가 다른 곳을 의미적으로 해석할 수 있는가?

주요 결과

• 합성 및 실세계 데이터셋(20 newsgroups 텍스트 데이터셋 포함)에서 최신 $\ell_2$ 기반 방법보다 더 높은 통계적 검정력을 확보하였다.
• 20 newsgroups 데이터셋에서 $\ell_1$ 최적화 평균 임베딩 검정은 'sci' 대 'comp'를 구분할 때 유형 II 오류율이 0.00이었으며, 'sci' 대 'alt'는 0.064였으며, $\ell_2$ 대응 방법을 능가하였다.
• 패스트푸드 레스토랑 분포 작업에서 $\ell_1$ 최적화 검정은 명목상 $\alpha = 0.01$ 수준 근처의 유형 I 오류율을 유지하였고, 다른 방법들은 더 보수적인 경향을 보였다.
• 학습된 검정 위치의 시각화 결과, $\ell_1$ 최적화 특징들이 분포 간 겹침이 낮은 영역에 집중되어 있음을 확인하여, 그 분류 능력이 뛰어나다는 것을 확인하였다.
• $\ell_1$ 기반 방법은 텍스트 및 공간 데이터를 포함한 다양한 데이터 유형에서 일관된 성능을 보였으며, 이차 시간 MMD보다도 뚜렷한 속도 향상을 달성하였다.
• 비볼록 최적화 경로는 다중 모달성과 정보성 있는 검정 위치 구성의 가능성을 포괄하여, 볼록 대안을 뛰어넘는 풍부한 탐지 능력을 보여주었다.