[논문 리뷰] On the Optimality of Gaussian Kernel Based Nonparametric Tests against Smooth Alternatives

Tong Li, Ming Yuan|arXiv (Cornell University)|2019. 09. 07.

Statistical Methods and Inference참고 문헌 29인용 수 24

한 줄 요약

이 논문은 고차원 설정에서 부드러운 대안에 대해 가우시안 커널 기반 비모수적 검정—적합도, 동질성, 그리고 독립성 검정—의 최대위험 최적성(minimax optimality)을 확립한다. 데이터 기반으로 발산하는 스케일링 파라미터를 사용할 경우, 이러한 검정들은 반복 로그 인자까지 최적의 탐지 속도를 달성하며, 이는 그들이 널리 경험적으로 성공한 데 대한 이론적 근거를 제공한다.

ABSTRACT

Nonparametric tests via kernel embedding of distributions have witnessed a great deal of practical successes in recent years. However, statistical properties of these tests are largely unknown beyond consistency against a fixed alternative. To fill in this void, we study here the asymptotic properties of goodness-of-fit, homogeneity and independence tests using Gaussian kernels, arguably the most popular and successful among such tests. Our results provide theoretical justifications for this common practice by showing that tests using Gaussian kernel with an appropriately chosen scaling parameter are minimax optimal against smooth alternatives in all three settings. In addition, our analysis also pinpoints the importance of choosing a diverging scaling parameter when using Gaussian kernels and suggests a data-driven choice of the scaling parameter that yields tests optimal, up to an iterated logarithmic factor, over a wide range of smooth alternatives. Numerical experiments are also presented to further demonstrate the practical merits of the methodology.

연구 동기 및 목표

• 적합도, 동질성, 독립성 검정이라는 세 가지 고전적 설정에서 가우시안 커널 기반 비모수적 검정의 이론적 최적성 확립.
• 고정 대안에 대해 일致성 이외의 점근적 성질에 대한 이론적 이해 부족 문제 해결.
• 비모수적 검정에서 가우시안 커널의 최적 스케일링 파라미터 식별; 발산하는 대역폭이 최대위험 최적성에 필수적임을 보임.
• 광범위한 부드러운 대안에 걸쳐 거의 최대위험 최적 성능을 달성하는 데이터 기반 대역폭 선택 규칙 제안.
• 현대 통계 응용에서 가우시안 커널 방법의 경험적 성공에 대한 이론적 근거 제공.

제안 방법

• 가우시안 커널을 사용한 RKHS 임bedding를 통한 최대 평균 차이(MMD)를 분포 차이 측정 척도로 사용.
• 대역폭 파라미터 νn에 따라 인덱스가 매겨진 커널 함수의 가족을 사용하여 근사적 행동을 분석, 근본가정 및 국소 대안 하에서 검정 통계량의 점근적 행동 분석.
• 초과분포의 최대값을 제어하기 위해 농도 불등식과 모멘트 경계를 적용하여 통계량의 확률적 유계성 확보.
• 소벨 또는 헬더 부드러운 클래스에서 국소 대안 하에서 MMD 추정량의 행동을 분석하여 각 검정의 탐지 경계 유도.
• 데이터 기반 스케일링 규칙을 사용하여 샘플 크기에 따라 최적의 대역폭 νn을 선택하는 적응형 검정 절차 제안.
• 검정 통계량을 주요 항과 나머지 항으로 분해하고, 대칭화 및 체이닝 추론을 통해 꼬리 경계 유도.

실험 결과

연구 질문

• RQ1 적합도, 동질성, 독립성 검정에서 가우시안 커널 기반 비모수적 검정은 부드러운 대안에 대해 최대위험 최적인가?
• RQ2 이러한 검정에서 가우시안 커널의 최적 스케일링 파라미터(대역폭)는 무엇인가?
• RQ3 데이터 기반 대역폭 선택 규칙이 광범위한 부드러운 대안에 걸쳐 거의 최대위험 최적 성능을 달성할 수 있는가?
• RQ4 대역폭 선택이 검정의 탐지 경계에 어떤 영향을 미치는가?
• RQ5 대역폭이 샘플 크기와 함께 발산할 경우 검정 통계량의 점근적 행동은 어떻게 되는가?

주요 결과

• 모든 세 가지 설정—적합도, 동질성, 독립성—에서 가우시안 커널 기반 검정은 부드러운 대안에 대해 최대위험 최적이다.
• 이 검정의 최적 대역폭은 샘플 크기와 함께 발산하며, 데이터 기반 대역폭 선택은 반복 로그 인자까지 최적의 성능을 달성한다.
• 적응형 독립성 검정의 탐지 경계는 소벨 부드러운 대안에 대해 smoothness s ≥ d/4일 때 순서 O((n/log log n)^(-2s/(d+4s)))이다.
• 귀무가설 하에서 검정 통계량은 C(log log n)으로 확률적으로 유계이며, 꼬리 확률은 t^(1/2) 또는 그 이상의 거듭제곱으로 지수적으로 감소한다.
• MMD 추정량의 분산은 귀무가설 하에서 기대값에 잘 근사되며, 이는 검정 임계값의 신뢰성 있는 校정 보장.
• 제안된 적응형 대역폭 선택은 부드러움이 알려지지 않은 경우에도 광범위한 부드러운 대안에 걸쳐 거의 최적의 검정력 유지 보장.