[논문 리뷰] Permutation tests of non-exchangeable null models

Jeffrey Roach, William Valdar|arXiv (Cornell University)|2018. 08. 30.

Diverse Scientific and Engineering Research참고 문헌 14인용 수 3

한 줄 요약

이 논문은 비교환(null) 모델에 대해 순열 검정을 일반화하기 위해 정확성과 가장 강력한 일반화된 순열 검정을 닫힌 형태로 유지하는 프레임워크를 도입한다. 베르슈타인 다항식 기반 추정기들을 사용한 몽테카를로 근사의 수렴성을 확립하고, p-값 추정 오차에 대한 엄밀한 경계를 제공하여 선형 혼합 모델과 같은 복잡한 모델에서의 실용적 적용을 가능하게 한다.

ABSTRACT

Generalizations to the permutation test are introduced to allow for situations in which the null model is not exchangeable. It is shown that the generalized permutation tests are exact, and a partial converse: that any test function that is exact on all probability densities coincides with a generalized permutation test on a particular region, is established. A most powerful generalized permutation test is derived in closed form. Approximations to the most powerful generalized permutation test are proposed to reduce the computational burden required to compute the complete test. In particular, an explicit form for the approximate test is derived in terms of a multinomial Bernstein polynomial approximation, and its convergence to the most powerful generalized permutation test is demonstrated. In the case where the determination of p-values is of greater interest than testing of hypotheses, two approaches to estimation of significance are analyzed. Bounds on the deviation from significance of the exact most powerful test are given in terms of sample size. For both estimators, as sample size approaches infinity, the estimator converges to the significance of the most powerful generalized permutation test under mild conditions. Applications of generalized permutation testing to linear mixed models are provided.

연구 동기 및 목표

• 비교환(null) 모델을 초월한 순열 검정을 확장함으로써, 이상치에 민감하고 구조적 제약이 존재하는 현실적인 상황에서 비현실적인 표준 비교환(null) 모델을 피하기 위해.
• 비교환(null) 모델 하에서 정확성을 유지하는 일반화된 순열 검정을 개발하여 타입 I 오류 제어가 유효하도록 보장하기 위해.
• 선형 최적화를 통해 순열 집합 위에서 캐논리컬 선형계획문제를 해결함으로써, 네이만-피어슨 이론과 연결된 닫힌 형태로 가장 강력한 일반화된 순열 검정을 도출하기 위해.
• 몬테카를로 샘플링과 다항분포 베르슈타인 다항식 추정기들을 사용하여 계산적으로 실현 가능한 근사치를 제공하기 위해.
• p-값 추정 정확도를 분석하고, 정확한 가장 강력한 검정으로부터의 이격에 대해 확률적 경계를 제공하기 위해.

제안 방법

• 일반화된 순열 검정은 비교환(null) 밀도 $ g_0 $ 를 반영하는 순열 위의 확률측도를 통해 정의되며, $ g_0 $ 가 비교환일 경우 기존 순열 검정으로 축소된다.
• 가장 강력한 검정은 순열 공간 위에서의 캐논리컬 선형계획문제를 풀어, 근본 분포 하에서의 검정력을 최대화함으로써 도출된다.
• 몬테카를로 근사는 비대칭 단위 위의 적분을 통해 정의된 선택 확률을 갖는 $ \hat{g}_0 $ 에 따라 순열을 샘플링함으로써 구성된다.
• 임계치를 초과하는 로그우도비의 비율을 기반으로 한 추정기 $ \Sigma_U $ 는 진짜 p-값에 대해 비편향임이 입증된다.
• 테스트 통계량의 분포를 모델링하기 위해 베르슈타인 다항식 근사를 사용하여, 표본 크기가 증가함에 따라 정확한 가장 강력한 검정으로 수렴함을 보장한다.
• 후프딩의 부등식과 베르슈타인의 부등식을 적용하여, p-값 추정기의 진짜 유의수준으로부터의 이격을 확률적으로 경계함으로써, 확률적 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 비교환(null) 모델을 위한 순열 검정을 정확성과 검정력을 유지하면서 일반화할 수 있는가?
• RQ2 비교환(null) 모델 하에서 가장 강력한 일반화된 순열 검정의 형태는 무엇인가?
• RQ3 모든 $ n! $ 개의 순열을 계산하지 않고도 가장 강력한 검정을 효율적으로 근사할 수 있는가?
• RQ4 이 일반화된 프레임워크에서 몽테카를로 p-값 추정기의 수렴성과 오차 경계는 어떻게 되는가?
• RQ5 베르슈타인 다항식 기반의 근사 방법과 직접적인 몽테카를로 샘플링 간의 정확도와 효율성은 어떻게 비교되는가?

주요 결과

• 일반화된 순열 검정은 어떤 비교환(null) 모델 하에서도 정확하며, 모든 확률밀도에서 정확한 검정은 큰 부분공간에서 이러한 일반화된 검정과 일치한다.
• 가장 강력한 일반화된 순열 검정은 순열군 위에서 선형 최적화 작업으로 문제를 축소함으로써 닫힌 형태로 도출된다.
• 샘플된 순열 수가 증가함에 따라, $ \hat{g}_0 $ 에 따라 순열을 샘플링하는 몽테카를로 근사는 거의 확실히 진짜 가장 강력한 검정으로 수렴한다.
• 임계치 $ l(\mathbf{x}) $ 를 초과하는 순열의 비율에 기반한 p-값 추정기 $ \Sigma_U $ 는 진짜 유의수준에 대해 비편향이다.
• 후프딩의 부등식과 베르슈타인의 부등식은 p-값 추정기의 진짜 값으로부터의 이격에 대해 명시적인 확률적 경계를 제공하며, 표본 수가 증가함에 따라 오차가 지수적으로 감소한다.
• 다항분포 베르슈타인 다항식 근사는 부드럽고 수렴하는 검정 추정기로서, $ \hat{g}_0 $ 에 대한 온건한 정규성 조건 하에서 수렴이 보장된다.