[논문 리뷰] A New ECDF Two-Sample Test Statistic

Connor Dowd|arXiv (Cornell University)|2020. 07. 02.

Statistical Methods and Inference참고 문헌 7인용 수 24

한 줄 요약

이 논문은 기존의 ECDF 기반 검정인 콜모고로프-스미르노프, 쿠이퍼, 크라머-폼-미즈스 검정보다 더 높은 검정력(power)을 보이는 새로운 이중표본 검정 통계량인 DTS(Divergence Test Statistic)를 소개한다. 이는 귀무가설 하에서 차이의 추정 분산에 따라 경험적 누적분포함수(ECDF)의 차이를 최적의 가중치로 조합함으로써 달성된다. 이 방법은 위치, 척도, 고차모멘트의 변화를 포함한 다양한 분포 차이에 대해 높은 검정력을 보이며, 유한표본에서의 유의수준을 보존하는 절차와 R 패키지를 통해 O(N log N)의 계산 효율성을 확보한다.

ABSTRACT

Empirical cumulative distribution functions (ECDFs) have been used to test the hypothesis that two samples come from the same distribution since the seminal contribution by Kolmogorov and Smirnov. This paper describes a statistic which is usable under the same conditions as Kolmogorov-Smirnov, but provides more power than other extant tests in that vein. I demonstrate a valid (conservative) procedure for producing finite-sample p-values. I outline the close relationship between this statistic and its two main predecessors. I also provide a public R package (CRAN: twosamples [2018]) implementing the testing procedure in $O(N\log(N))$ time with $O(N)$ memory. Using the package's functions, I perform several simulation studies showing the power improvements.

연구 동기 및 목표

• 대체가설이 위치나 척도의 차이를 넘어서는 다양한 분포의 차이를 포함할 때, 더 높은 검정력을 가진 이중표본 검정을 개발하는 것.
• 작은 표본에서의 미세하거나 복잡한 분포 차이를 탐지하는 데에 한계를 보이는 기존의 ECDF 기반 검정의 문제점을 해결하는 것.
• 새로운 검정 통계량에 대해 타당하고 보수적인 유한표본 p-값 절차를 제공하는 것.
• O(N log N) 시간과 O(N) 메모리로 효율적으로 구현하여 널리 사용 가능한 R 패키지를 통해 구현하는 것.
• 시뮬레이션을 통해 새로운 검정이 다양한 분포 대안에 대해 기존 방법보다 높은 검정력을 보임을 입증하는 것.

제안 방법

• 검정 통계량은 두 경험적 누적분포함수(ECDF) 간 절대차이의 가중합으로 정의되며, 귀무가설 하에서 차이의 분산을 추정한 값에 기반한 가중치를 사용한다.
• 분산 추정은 병합된 표본의 ECDF에 기반하여 이루어지며, 이로 인해 분산이 높은 영역(p=0.5 근처)에서는 관측치가 가중치를 낮추고, 분산이 낮은 영역(p=0 또는 p=1 근처)에서는 가중치를 높인다.
• 유한표본에서의 보수적인 p-값 절차는 순열 또는 정확한 분포 근사에 기반하여 제1종 오류를 통제한다.
• 알고리즘은 병합된 표본을 정렬하고 순서화된 데이터 포인트를 기반으로 가중합을 효율적으로 평가함으로써 O(N log N) 시간에 검정 통계량을 계산한다.
• 이 방법은 가중치가 부여된 관측치, 병렬 처리, 알려진 귀무분포와의 비교를 지원하는 R 패키지(twosamples)로 구현되어 있다.
• 검정은 일致성과 점근적 타당성을 보이며, 시뮬레이션 결과 기존 방법보다 높은 검정력을 확보한다.

실험 결과

연구 질문

• RQ1 콜모고로프-스미르노프, 쿠이퍼, 크라머-폼-미즈스와 같은 기존의 ECDF 기반 검정보다 더 높은 검정력을 보이는 새로운 이중표본 검정 통계량을 개발할 수 있는가?
• RQ2 귀무가설 하에서의 분산 추정치에 따라 ECDF의 차이를 가중치를 부여함으로써 다양한 분포 대안에서 검출 능력이 향상되는가?
• RQ3 실용적인 사용을 가능하게 하면서도 제1종 오류를 통제할 수 있는 보수적인 유한표본 p-값 절차를 구성할 수 있는가?
• RQ4 위치, 척도, 고차모멘트(예: 혼합분포)의 차이를 탐지할 때, 최신 기술 대비 새로운 검정의 성능은 어떠한가?
• RQ5 새로운 검정은 다양한 분포 차이에 대해 일致적으로 높은 검정력을 보이는가, 아니면 어떤 경우에는 성능 향상이 다른 영역의 성능 저하를 야기하는가?

주요 결과

• 다른 평균과 분산을 가진 혼합분포를 탐지할 때 DTS 검정은 71%의 기각률을 보였고, 같은 표본 크기에서 워셔스타인 검정은 38%에 그쳤다.
• 두 정규분포의 혼합(평균 0, 분산 1로 재규합)을 포함한 시뮬레이션에서 DTS 검정은 가장 높은 검정력을 유지했으며, 워셔스타인 검정과 기타 고급 방법보다도 뛰어난 성능을 보였다.
• 고차모멘트(예: 혼합분포에서의 왜도와 첨도)의 차이를 탐지할 때 DTS 검정은 일관되게 뛰어난 성능을 보였으며, 워셔스타인 검정보다 최대 24个百分点의 검정력 향상을 보였다.
• 다른 분산을 가진 혼합분포를 포함한 100%의 시뮬레이션에서 DTS 검정이 가장 높은 검정력을 보였고, 그 다음으로 쿠이퍼 검정이 뒤를 이었다.
• 위치 이동, 척도 변화, 복잡한 혼합분포를 포함한 모든 테스트 시나리오에서 DTS 검정은 높은 검정력을 유지했으며, 어떤 한 분포 유형에서도 성능 저하가 없었다.
• DTS 검정이 71%의 검정력을 보이는 표본 크기에서, 워셔스타인 검정은 한 혼합 시나리오에서 47%의 검정력에 그쳤다. 이는 약 1/4의 시뮬레이션에서 DTS 검정은 귀무가설을 기각했지만 다른 검정은 그렇지 않았음을 의미한다.