[논문 리뷰] Remember the Curse of Dimensionality: The Case of Goodness-of-Fit Testing in Arbitrary Dimension

Ery Arias-Castro, Bruno Pelletier외 1명|arXiv (Cornell University)|2016. 07. 27.

Statistical Methods and Inference참고 문헌 29인용 수 20

한 줄 요약

이 논문은 임의의 차원에서 $L^2$ 거리 척도 하에 이항 검정의 최소최대 속도를 확립하며, 이는 전형적인 차원의 저주를 드러낸다. 이는 최적의 분할을 사용한 카이제곱 검정이 이 최소최대 속도를 달성하며, 알려지지 않은 매끄러움과 내재 차원에 적응할 수 있음을 보여준다. 다중 척도 확장이 가능하다.

ABSTRACT

Despite a substantial literature on nonparametric two-sample goodness-of-fit testing in arbitrary dimensions spanning decades, there is no mention there of any curse of dimensionality. Only more recently Ramdas et al. (2015) have discussed this issue in the context of kernel methods by showing that their performance degrades with the dimension even when the underlying distributions are isotropic Gaussians. We take a minimax perspective and follow in the footsteps of Ingster (1987) to derive the minimax rate in arbitrary dimension when the discrepancy is measured in the L2 metric. That rate is revealed to be nonparametric and exhibit a prototypical curse of dimensionality. We further extend Ingster's work to show that the chi-squared test achieves the minimax rate. Moreover, we show that the test can be made to work when the distributions have support of low intrinsic dimension. Finally, inspired by Ingster (2000), we consider a multiscale version of the chi-square test which can adapt to unknown smoothness and/or unknown intrinsic dimensionality without much loss in power.

연구 동기 및 목표

• 임의의 차원에서 비모수적 이항 적합도 검정의 기본 통계적 한계를 규명하는 것.
• 고차원 검정에서 차원의 저주가 없다는 데 대한 문헌 내 혼동을 해결하는 것.
• Ingster의 최소최대 이론을 1차원에서 임의의 차원으로 확장하여 헬더 매끄러운 밀도에 대해 적용하는 것.
• $L^2$ 이질성 하에서 카이제곱 검정이 최소최대 속도를 달성함을 보여주는 것.
• 알려지지 않은 매끄러움과 내재 차원에 적응하면서도 상당한 검정력 손실 없이 작동하는 다중 척도 카이제곱 검정을 개발하는 것.

제안 방법

• 단위 초입방체 위의 헬더 클래스 밀도에 대해 $L^2$ 거리 하에서 검정의 최적 속도를 도출하기 위해 최소최대 프레임워크를 채택한다.
• 비 渐近적 분석을 통해 최소최대 위험의 하한을 유도하며, 이 속도가 차원과 매끄러움에 의존함을 보여준다.
• 크기 $1/\kappa$인 분할을 사용한 카이제곱 검정을 구성하며, $\kappa \sim m^{2/(4s+d)}$로 선택하여 최소최대 속도를 달성한다.
• 기저가 낮은 내재 차원을 가진 지지역간에도 카이제곱 검정이 최소최대 최적성을 유지함을 증명한다.
• 다양한 분할 척도에서의 결과를 통합하여 알려지지 않은 매끄러움과 내재 차원에 적응하는 다중 척도 카이제곱 검정을 제안한다.
• 함수 해석 도구, 특히 커널 연산자와 다항식 근사법을 활용하여 대안 하에서 검정 통계량의 $L^2$ 노름을 제한한다.

실험 결과

연구 질문

• RQ1 임의의 차원에서 $L^2$ 거리 척도 하에 이항 적합도 검정의 최소최대 속도는 무엇인가?
• RQ2 카이제곱 검정은 고차원 환경에서도 최소최대 속도를 달성하는가?
• RQ3 기본 밀도가 낮은 내재 차원을 가질 경우 카이제곱 검정은 여전히 최적성을 유지하는가?
• RQ4 알려지지 않은 매끄러움과 내재 차원에 적응하면서도 상당한 검정력 손실 없이 작동하는 파rameter-free 검정을 설계할 수 있는가?
• RQ5 일부 커널 기반 방법은 왜 파라미터적 속도를 주장함에도 불구하고 고차원에서는 실패하는가?

주요 결과

• $L^2$ 거리 척도 하에 $d$ 차원에서의 이항 적합도 검정의 최소최대 속도는 $m^{-2s/(4s+d)}$이며, 이는 전형적인 차원의 저주를 보여준다.
• 크기 $\kappa \sim m^{2/(4s+d)}$인 분할을 사용한 카이제곱 검정이 최소최대 속도를 달성하며, 이는 비모수적 영역에서의 최적성을 입증한다.
• 기본 밀도의 지지역이 낮은 내재 차원을 가질 경우에도 카이제곱 검정은 분할을 적절히 조정하면 여전히 최소최대 최적성을 유지한다.
• 제안된 다중 척도 카이제곱 검정은 알려지지 않은 매끄러움 $s$와 내재 차원에 적응하면서도 상당한 검정력 손실 없이 작동하며, 거의 최소최대 성능을 달성한다.
• 분석 결과, 비모수적 이항 검정 문제에서는 파라미터적 속도를 달성할 수 없으며, 이는 등방성 정규분포의 경우에도 마찬가지로, 오랫동안 뒤얽힌 문헌 내 혼동을 해결한다.
• 증명은 대안 하에서 검정 통계량의 $L^2$ 노름을 제어하기 위해 다항식 근사와 커널 연산자 제약의 새로운 응용에 기반한다.