[논문 리뷰] Efficient Aggregated Kernel Tests using Incomplete $U$-statistics

Antonin Schrab, Ilmun Kim외 2명|arXiv (Cornell University)|2022. 06. 18.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 계산적으로 스케일러블한 커널 기반 비모수적 검정—MMDAggInc, HSICAggInc, KSDAggInc—을 제안한다. 이는 불완전한 U-통계량을 사용하여 선형과 이차 시간 복잡도 사이의 균형을 이루며, 야생 부트스트랩 분위수 경계를 통해 다수의 커널 대역폭을 통합함으로써 최소 최대 최적의 균일한 분리 속도를 달성하면서도, 두 표본 검정, 독립성 검정, 적합도 검정 문제에서 높은 검정력 유지를 한다.

ABSTRACT

We propose a series of computationally efficient nonparametric tests for the two-sample, independence, and goodness-of-fit problems, using the Maximum Mean Discrepancy (MMD), Hilbert Schmidt Independence Criterion (HSIC), and Kernel Stein Discrepancy (KSD), respectively. Our test statistics are incomplete $U$-statistics, with a computational cost that interpolates between linear time in the number of samples, and quadratic time, as associated with classical $U$-statistic tests. The three proposed tests aggregate over several kernel bandwidths to detect departures from the null on various scales: we call the resulting tests MMDAggInc, HSICAggInc and KSDAggInc. This procedure provides a solution to the fundamental kernel selection problem as we can aggregate a large number of kernels with several bandwidths without incurring a significant loss of test power. For the test thresholds, we derive a quantile bound for wild bootstrapped incomplete $U$-statistics, which is of independent interest. We derive non-asymptotic uniform separation rates for MMDAggInc and HSICAggInc, and quantify exactly the trade-off between computational efficiency and the attainable rates: this result is novel for tests based on incomplete $U$-statistics, to our knowledge. We further show that in the quadratic-time case, the wild bootstrap incurs no penalty to test power over the more widespread permutation-based approach, since both attain the same minimax optimal rates (which in turn match the rates that use oracle quantiles). We support our claims with numerical experiments on the trade-off between computational efficiency and test power. In all three testing frameworks, the linear-time versions of our proposed tests perform at least as well as the current linear-time state-of-the-art tests.

연구 동기 및 목표

• 대규모 데이터 환경에서 이차 시간 복잡도를 가지는 커널 검정의 계산적 병목 현상을 해결한다.
• 다양한 대역폭에 걸쳐 통합함으로써 검정력 손실 없이 커널 대역폭 선택 문제를 해결한다.
• 기존 U-통계량 기반 검정의 계산 효율적인 대안을 제안하여 선형과 이차 시간 복잡도 사이를 해석하는 방법을 개발한다.
• 불완전한 U-통계량 기반 검정에 대해 비점근적 이론적 보장을 제공한다.
• 야생 부트스트랩 분위수는 불완전한 U-통계량에서 최소 최대 최적의 분리 속도를 도출하며, 오라클 성능과 일치함을 입증한다.

제안 방법

• 커널 통계량을 부분 샘플링함으로써 O(N²)에서 O(N)으로 계산 비용을 감소시키는 MMD, HSIC, KSD에 대한 불완전한 U-통계량 추정량을 제안한다.
• 다양한 커널 대역폭 범위에서 검정 통계량을 통합하여 다양한 척도에서 대립 분포에 대한 민감도를 향상시킨다.
• 비분석적 경계를 제공하기 위해 야생 부트스트랩 절차를 사용하며, 분위수 근사 오차에 대한 이론적 경계를 도출한다.
• Sobolev 구역에서 MMDAggInc와 HSICAggInc에 대한 비점근적 균일한 분리 속도를 유도하며, 효율성 비용을 제외하고 최소 최대 최적임을 보여준다.
• 이차 시간 복잡도 영역에서, 전치 기반 접근법과 비교해 검정력 손실이 없는 것으로 입증한다.
• 야생 부트스트랩된 불완전한 U-통계량에 대한 분위수 경계를 제공하며, 이는 별도의 이론적 관심을 가진다.

실험 결과

연구 질문

• RQ1 불완전한 U-통계량을 사용하여 계산 비용을 줄이면서도 높은 통계적 검정력을 유지하는 커널 기반 검정을 설계할 수 있는가?
• RQ2 불완전한 U-통계량을 사용해 다수의 커널 대역폭에 걸쳐 통합할 경우, 최소 최대 최적의 균일한 분리 속도를 달성할 수 있는가?
• RQ3 이차 시간 복잡도 영역에서, 불완전한 U-통계량에 대한 야생 부트스트랩 분위수 추정의 검정력은 전치 기반 방법과 비교해 어떻게 되는가?
• RQ4 불완전한 U-통계량을 사용한 통합 커널 검정에서 계산 효율성과 통계적 성능 사이의 상호 교환 관계는 어떠한가?
• RQ5 제안된 방법은 선형에서 이차 시간 복잡도 사이에서 작동하면서도 Sobolev 구역 전역에서 최적의 분리 속도를 달성할 수 있는가?

주요 결과

• 제안된 MMDAggInc, HSICAggInc, KSDAggInc 검정은 모든 세 가지 검정 프레임워크에서 현재의 선형 시간 최첨단 검정과 동일하거나 더 높은 검정력을 확보한다.
• 불완전한 U-통계량에 대한 야생 부트스트랩 분위수 추정은 전치 기반 임계값과 동등한 유효성과 강력함을 보이며, 오라클 분위수의 최소 최대 최적 속도를 재현한다.
• 통합된 이차 시간 복잡도 검정의 균일한 분리 속도는 (상수를 제외하고) (N / ln(ln(N)))^(-2s/(4s+d))이며, Sobolev 구역에서 최소 최대 최적이다.
• 분위수 경계의 α-의존성에서 개선된 성능을 보이며, α^(-1/2) 대신 ln(1/α)^{3/2}을 사용함으로써 다수의 대역폭 통합에 있어 핵심적이다.
• 제안된 검정의 계산 비용은 선형과 이차 시간 복잡도 사이를 해석하며, 상당한 검정력 손실 없이 대규모 데이터 세트에서의 스케일러블 테스팅을 가능하게 한다.
• 이론적 분석은 계산 효율성과 통계적 성능 사이의 상호 교환 관계가 최적임을 확인하며, 분리 속도가 전체 U-통계량 기반 검정과 로그 인자 외에는 동일함을 보여준다.