[논문 리뷰] Minimax optimality of permutation tests

Ilmun Kim, Sivaraman Balakrishnan외 1명|arXiv (Cornell University)|2020. 03. 30.

Bayesian Methods and Mixture Models참고 문헌 65인용 수 13

한 줄 요약

이 논문은 새로운 커플링 기법을 통해 U-통계량과 지수 농도 집중 경계를 이용한 일반적인 프레임워크를 개발하여, 비점근적 설정에서 순열 검정의 최소최대 최적성(minimax optimality)을 확립한다. 이는 이산 및 연속 분포 하에서 두 표본 검정과 독립성 검정 모두에서 순열 검정이 최소최대 속도 최적의 검정력을 달성함을 보여준다. 이는 부드러움 파라미터가 알려져 있지 않은 경우에도 성립한다.

ABSTRACT

Permutation tests are widely used in statistics, providing a finite-sample guarantee on the type I error rate whenever the distribution of the samples under the null hypothesis is invariant to some rearrangement. Despite its increasing popularity and empirical success, theoretical properties of the permutation test, especially its power, have not been fully explored beyond simple cases. In this paper, we attempt to partly fill this gap by presenting a general non-asymptotic framework for analyzing the minimax power of the permutation test. The utility of our proposed framework is illustrated in the context of two-sample and independence testing under both discrete and continuous settings. In each setting, we introduce permutation tests based on U-statistics and study their minimax performance. We also develop exponential concentration bounds for permuted U-statistics based on a novel coupling idea, which may be of independent interest. Building on these exponential bounds, we introduce permutation tests which are adaptive to unknown smoothness parameters without losing much power. The proposed framework is further illustrated using more sophisticated test statistics including weighted U-statistics for multinomial testing and Gaussian kernel-based statistics for density testing. Finally, we provide some simulation results that further justify the permutation approach.

연구 동기 및 목표

• 유한 표본 설정에서 순열 검정의 검정력에 대한 이론적 이해가 부족한 점, 특히 단순한 경우를 초월하여 이를 해결하고자 한다.
• 순열 검정의 최소최대 제2종 오류를 분석하기 위한 비점근적 프레임워크를 개발하고자 한다.
• 이산 및 연속 분포 하에서 두 표본 검정과 독립성 검정에서 순열 검정의 최소최대 속도 최적성(minimax rate optimality)을 확립하고자 한다.
• 부드러움 파라미터를 사전에 알지 못하더라도 최적의 검정력을 달성하는 적응형 순열 검정을 구축하고자 한다.
• 이 프레임워크를 복잡한 검정 통계량, 예를 들어 가중치가 부여된 U-통계량과 커널 기반 통계량을 포함한 밀도 검정에까지 확장하고자 한다.

제안 방법

• U-통계량을 기반으로 한 순열 검정의 최소최대 검정력 분석을 위한 일반적인 비점근적 프레임워크를 제안한다.
• 순열된 U-통계량에 대한 지수 농도 집중 경계를 유도하기 위해 새로운 커플링 기반 방법을 도입한다.
• 유도된 농도 집중 경계를 사용하여 순열 검정의 랜덤 기준값을 제어하고, 이를 통해 검정력 분석을 가능하게 한다.
• 이 프레임워크를 이산 및 연속 분포 하에서 두 표본 검정과 독립성 검정에 적용한다.
• Dvoretzky–Kiefer–Wolfowitz 부등식을 활용하여 유한 표본 오차 경계를 갖는 순열 분포의 몬테카를로 근사법을 개발한다.
• 부드러움 파라미터를 사전에 알지 못하더라도 최소최대 최적성을 유지하는 테스트를 구성함으로써 부드러움에 대한 적응성을 입증한다.

실험 결과

연구 질문

• RQ1 두 표본 검정과 독립성 검정에서 비점근적 설정에서 순열 검정이 최소최대 속도 최적의 검정력을 달성할 수 있는가?
• RQ2 유한 표본 검정력 분석을 가능하게 하기 위해 순열 검정의 랜덤 기준값은 어떻게 제어할 수 있는가?
• RQ3 U-통계량과 그 순열된 형태가 최소최대 최적성 달성에 어떤 역할을 하는가?
• RQ4 부드러움 파라미터를 사전에 알지 못하더라도 검정력을 손상시키지 않고 순열 검정을 부드러움에 적응시킬 수 있는가?
• RQ5 순열된 U-통계량에 대한 지수 농도 집중 경계는 순열 검정의 이론적 분석에 어떻게 기여하는가?

주요 결과

• U-통계량을 기반으로 한 순열 검정은 이산 및 연속 분포 하에서 두 표본 검정과 독립성 검정 모두에서 최소최대 속도 최적성을 달성한다.
• 제안된 프레임워크는 귀무분포가 정규분포가 아니거나 고차원일 경우에도 순열 검정이 최소최대 검정력을 유지함을 보여준다.
• 새로운 커플링 기법을 통해 순열된 U-통계량에 대한 지수 농도 집중 경계가 유도되었으며, 이는 별도의 이론적 관심사로도 가치가 있다.
• 이 프레임워크를 통해 부드러움 파라미터를 사전에 알지 못하더라도 근사 최소최대 검정력을 유지하는 순열 검정을 구성할 수 있다.
• 유한 표본 조건 하에서 몬테카를로 근사가 유의수준을 높은 확률로 제어함을 입증하였다.
• 시뮬레이션 결과는 이론적 결과를 지지하며, 제안된 순열 검정의 효과성과 강건성을 확인한다.