[논문 리뷰] Universal Hypothesis Testing with Kernels: Asymptotically Optimal Tests for Goodness of Fit

Shengyu Zhu, Biao Chen외 2명|arXiv (Cornell University)|2018. 02. 21.

Statistical Methods and Inference참고 문헌 50인용 수 3

한 줄 요약

이 논문은 ℝᵈ와 같은 일반적인 표본 공간에서 커널 방법을 사용하여 유니버설 가설검정에 대한 비모수적 적합도 검정에서 최초로 渐近적으로 최적인 검정을 수립한다. 이는 대수적 이론과 커널 불일치도의 약한 미터리시티를 이용하여, 최대 평균 불일치도(MMD)와 커널 스티븐 불일치도(KSD) 기반 검정이 적절한 제약 조건 하에서 제2종 오류 확률의 최적 지수 감소율을 달성함을 증명한다.

ABSTRACT

We characterize the asymptotic performance of nonparametric goodness of fit testing. The exponential decay rate of the type-II error probability is used as the asymptotic performance metric, and a test is optimal if it achieves the maximum rate subject to a constant level constraint on the type-I error probability. We show that two classes of Maximum Mean Discrepancy (MMD) based tests attain this optimality on $\mathbb R^d$, while the quadratic-time Kernel Stein Discrepancy (KSD) based tests achieve the maximum exponential decay rate under a relaxed level constraint. Under the same performance metric, we proceed to show that the quadratic-time MMD based two-sample tests are also optimal for general two-sample problems, provided that kernels are bounded continuous and characteristic. Key to our approach are Sanov's theorem from large deviation theory and the weak metrizable properties of the MMD and KSD.

연구 동기 및 목표

• 비모수적 적합도 검정의 통계적 최적성에 대한 오랫동안 열려 있던 문제를 해결하기 위해.
• 제2종 오류 확률의 지수 감소율을 핵심 지표로 삼아 커널 기반 검정의 渐近적 성능을 특성화하기 위해.
• 특히 고차원 및 유한하지 않은 표본 공간에서 수준 제약 조건 하에 MMD 및 KSD 기반 검정의 최적성을 확립하기 위해.
• 표본 크기가 유사하게 증가하는 두 표본 검정 설정으로 최적성 결과를 확장하기 위해.

제안 방법

• 커널 기반 검정의 수용 영역의 渐近적 행동을 분석하기 위해 대수적 이론의 산노의 정리를 사용한다.
• MMD와 KSD의 약한 미터리시티 성질을 적용하여 검정 영역을 직접 분석하고, 검정 통계량을 중간 단계로 사용하지 않는다.
• 몬테카를로 샘플링을 통해 유도된 임계값을 사용하여 표본의 경험분포를 모델 분포 $P$와 비교하는 단순한 MMD 기반 검정을 제안한다.
• 표본 수가 $\omega(n)$이 되도록 $P$로부터 추가로 샘플을 추출하여 두 표본 검정 프레임워크를 변형함으로써 적합도 검정 문제를 두 표본 문제로 변환한다.
• KSD 기반 검정에서 제1종 오류 제약 조건을 점점 더 느슨하게 적용하여, 추가적인 정규성 조건 하에 최적의 지수 감소율을 달성한다.
• 부트스트랩 및 와일드 부트스트랩 방법을 사용하여 임계값을 추정하고, 커널 밴드폭은 중앙값 히ュ리스틱 또는 격자 탐색을 통해 선택한다.

실험 결과

연구 질문

• RQ1 비모수적 적합도 검정이 간단한 가설검정의 경우와 동일한 제2종 오류의 지수 감소율을 달성할 수 있는가? (즉, 대립 분포가 알려져 있을 때)
• RQ2 MMD 기반 검정은 ℝᵈ와 같은 일반적인 폴란드 공간에서의 유니버설 가설검정에서 渐近적으로 최적인가?
• RQ3 유니버설 설정에서 제1종 오류 제약 조건을 완화함으로써 KSD 기반 검정이 최적의 지수 감소율을 달성할 수 있는가?
• RQ4 표본 크기가 유사하게 증가하고 커널이 유계 연속적이며 특성적일 때, 2차 시간 복잡도의 MMD 기반 두 표본 검정은 일반적인 두 표본 문제에서 최적인가?

주요 결과

• 유니버설 가설검정에서 ℝᵈ에 대해, 수준 제약 조건이 일정할 경우 두 종류의 MMD 기반 검정이 제2종 오류 확률의 최적 지수 감소율을 달성한다.
• 2차 시간 복잡도의 KSD 기반 검정은 추가적인 정규성 조건이 만족될 경우 점점 더 느슨한 수준 제약 조건 하에서 최대 지수 감소율을 달성한다.
• 표본 크기가 동일한 순서로 증가할 때 일반적인 두 표본 문제에서 2차 시간 복잡도의 MMD 기반 두 표본 검정은 최적의 성능을 보이며, 감소율은 유계 연속적이고 특성적인 커널의 선택과 무관하다.
• MMD 및 KSD 검정의 최적성은 산노의 정리와 커널 불일치도의 약한 미터리시티를 이용한 대수적 이론 분석을 통해 확립된다.
• 실험 결과에 따르면 MMD 및 KSD 검정은 제1종 오류가 명시된 수준 $\alpha=0.1$에 매우 가까운 것을 유지하며, 제2종 오류 성능은 커널 밴드폭과 표본 크기에 민감하게 영향을 받는다.
• 유한 표본 성능은 커널 선택과 분포에 따라 변할 수 있으나, 이론적 최적성은 대표본 한계에서 유지되며, 이는 커널 방법의 渐近적 효율성에서의 열등성을 확인한다.