[논문 리뷰] Two Sample Testing in High Dimension via Maximum Mean Discrepancy

Hanjia Gao, Xiaofeng Shao|arXiv (Cornell University)|2021. 09. 30.

Statistical Methods and Inference참고 문헌 43인용 수 8

한 줄 요약

이 논문은 고차원 설정에서 최대 평균 차이(MMD)를 사용한 이중 표본 검정을 위한 스터디타이즈드 검정 통계량을 제안하며, 차원 수 $p$와 표본 크기 $n, m$이 동시에 발산할 때 중심극한정리(Central Limit Theorem)를 확립한다. 이 방법은 차원 수가 증가함에 따라 정규 근사 정확도가 향상되며, 가우시안 및 라플라스 커널과 같은 일반적인 커널에 대해 유효하며, 중간 고차원 영역에서의 검정력에 이론적 보장을 제공한다.

ABSTRACT

Maximum Mean Discrepancy (MMD) has been widely used in the areas of machine learning and statistics to quantify the distance between two distributions in the $p$-dimensional Euclidean space. The asymptotic property of the sample MMD has been well studied when the dimension $p$ is fixed using the theory of U-statistic. As motivated by the frequent use of MMD test for data of moderate/high dimension, we propose to investigate the behavior of the sample MMD in a high-dimensional environment and develop a new studentized test statistic. Specifically, we obtain the central limit theorems for the studentized sample MMD as both the dimension $p$ and sample sizes $n,m$ diverge to infinity. Our results hold for a wide range of kernels, including popular Gaussian and Laplacian kernels, and also cover energy distance as a special case. We also derive the explicit rate of convergence under mild assumptions and our results suggest that the accuracy of normal approximation can improve with dimensionality. Additionally, we provide a general theory on the power analysis under the alternative hypothesis and show that our proposed test can detect difference between two distributions in the moderately high dimensional regime. Numerical simulations demonstrate the effectiveness of our proposed test statistic and normal approximation.

연구 동기 및 목표

• 표본 크기와 함께 증가하는 차원 수 $p$에 대해 MMD 기반 이중 표본 검정에 대한 이론적 이해 부족 문제를 해결하기 위해.
• 고차원 점점 발산하는 조건에서도 유효성을 유지하는 강력한 스터디타이즈드 검정 통계량을 개발하기 위해.
• 발산하는 $p$, $n$, $m$ 조건 하에서 스터디타이즈드 MMD에 대한 중심극한정리를 확립하기 위해.
• 중간 고차원 설정에서 분포 차이를 탐지하기 위한 일반적인 검정력 분석 프레임워크를 제공하기 위해.
• 다양한 고차원 설정과 커널 선택에서의 수치 시뮬레이션을 통해 방법의 타당성을 검증하기 위해.

제안 방법

• 고차원 점점 발산하는 조건 하에서 분산을 안정화하기 위해 표본 MMD의 스터디타이즈드 버전을 제안한다.
• 가우시안 및 라플라스 커널을 포함한 일반적인 커널 조건 하에서 스터디타이즈드 MMD에 대한 중심극한정리를 유도한다.
• 정규 근사에 대한 수렴 속도를 확립하며, 이 속도가 차원 수 증가에 따라 향상됨을 보여준다.
• U-통계량 이론을 적용하여 $p$, $n$, $m$이 동시에 발산할 때 MMD의 점점 발산하는 행동을 분석한다.
• 고차원 분포 차이를 고려한 대립가설 하에서 일반적인 검정력 분석 프레임워크를 도입한다.
• 다양한 고차원 설정과 커널 선택에서의 수치 시뮬레이션을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 차원 수 $p$와 표본 크기 $n, m$이 모두 무한대가 될 때 MMD의 표본 분포는 어떻게 행동하는가?
• RQ2 스터디타이즈드 MMD 검정 통계량은 고차원 점점 발산하는 조건 하에서도 타당한 추론을 달성할 수 있는가?
• RQ3 차원 수가 증가함에 따라 스터디타이즈드 MMD의 정규 근사 정확도는 향상되는가?
• RQ4 중간 고차원 설정에서 분포 차이를 탐지하는 데 있어 제안된 검정의 이론적 검정력은 무엇인가?
• RQ5 가우시안, 라플라스, 에너지 거리와 같은 다양한 커널은 제안된 프레임워크 하에서 어떻게 행동하는가?

주요 결과

• 모든 $p$, $n$, $m$이 동시에 발산하는 조건 하에서 스터디타이즈드 MMD에 대해 중심극한정리가 성립하여 점점 발산하는 정규성을 보장한다.
• 약한 정규성 조건 하에서 차원 수 증가에 따라 정규 근사에 대한 수렴 속도가 향상됨을 보여준다.
• $p$가 $n$과 $m$과 함께 증가하는 조건에서도 분포 차이를 탐지하는 데 높은 검정력을 유지한다.
• 이 방법은 가우시안, 라플라스 커널뿐만 아니라 에너지 거리의 특수 케이스를 포함한 광범위한 커널 클래스에 대해 유효하다.
• 수치 시뮬레이션을 통해 정규 근사의 정확성과 고차원 설정에서 검정 통계량의 효과성을 확인한다.
• 이론적 검정력 분석 결과, 중간 고차원 영역에서 미세한 분포 차이를 탐지할 수 있음을 보여준다.