[논문 리뷰] fasano.franceschini.test: An Implementation of a Multidimensional KS Test in R

Connor Puritz, Elan Ness-Cohn외 1명|arXiv (Cornell University)|2021. 06. 19.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 다차원 이중표본 콜모고로프-스미르노프 검정을 효율적으로 구현하는 fasano.franceschini.test R 패키지를 제시한다. 이 방법은 임의의 차원과 데이터 유형(연속형, 이산형, 혼합형)의 다변량 분포를 비교할 수 있으며, 계산 복잡도를 줄이기 위해 테스트 통계량을 모든 좌표 조합이 아닌 표본 점들만을 대상으로 최대화함으로써 경쟁력 있는 검정력을 확보한다. 특히 공포라 기반 대안에서 뛰어난 성능을 보이며, 고차원 데이터에 대해서도 계산 가능하다.

ABSTRACT

The Kolmogorov-Smirnov (KS) test is a nonparametric statistical test used to test for differences between univariate probability distributions. The versatility of the KS test has made it a cornerstone of statistical analysis across many scientific disciplines. However, the test proposed by Kolmogorov and Smirnov does not easily extend to multidimensional distributions. Here we present the fasano.franceschini.test package, an R implementation of a multidimensional two-sample KS test described by Fasano and Franceschini (1987). The fasano.franceschini.test package provides a test that is computationally efficient, applicable to data of any dimension and type (continuous, discrete, or mixed), and that performs competitively with similar R packages.

연구 동기 및 목표

• 임의의 데이터 유형과 차원에 적용 가능한 계산적으로 효율적인 일반 목적의 다변량 이중표본 KS 검정이 부족한 문제를 해결하기 위해.
• 기존의 다변량 KS 확장 방법들이 계산적으로 비현실적이거나 특정 데이터 유형이나 차원에 국한되어 있는 점을 극복하기 위해 R에 Fasano–Franceschini 검정을 구현하기 위해.
• 정확한 p-값 계산과 혼합형 및 고차원 데이터를 잘 처리하는 사용자 우아한 성능이 뛰어난 R 패키지를 제공하기 위해.
• 다양한 분포 대안에서 기존의 다변량 적합도 검정(Cramér, DiProPerm)과 비교하여 제안된 검정의 검정력과 계산 효율성 측면에서의 성능을 평가하기 위해.

제안 방법

• 모든 $2^d$ 사분면을 각 표본 점에 의해 정의된 다차원 KS 통계량을 계산하기 위해, 각 점 $\mathbf{p}$에서의 경험적 누적분포함수의 최대 절대 차이를 평가한다.
• 각 점 $\mathbf{p}$에 대해, 좌표 차이의 부호에 의해 정의된 각 사분면 $\mathcal{O}_j(\mathbf{p})$에 속하는 각 표본의 점 비율을 계산한다.
• 테스트 통계량 $D(\mathbf{p})$는 두 표본 간의 비율 절대 차이가 가장 큰 모든 사분면에서의 최댓값이다.
• p-값은 몬테카를로 순열 검정을 통해 계산되며, 두 표본을 합쳐 반복적으로 재할당하여 귀무분포를 추정한다.
• 모든 좌표 조합이 아닌 표본 점들만을 대상으로 최대화함으로써 계산 비용을 삼차원에서 선형으로 감소시킨다.
• 지표 함수를 사용하여 사분면 소속 확률을 계산함으로써 연속형, 이산형, 혼합형 데이터 유형을 모두 지원한다.

실험 결과

연구 질문

• RQ1 Fasano–Franceschini 검정은 다양한 분포 대안에서 Cramér 및 DiProPerm 검정과 비교해 통계적 검정력 측면에서 어떻게 성능을 보이는가?
• RQ2 모든 변량 분포가 동일하지만 의존성 구조가 다를 경우, Fasano–Franceschini 검정은 고차원 설정에서도 높은 검정력을 유지할 수 있는가?
• RQ3 Fasano–Franceschini 검정의 계산 복잡도는 표본 크기와 차원이 증가함에 따라 어떻게 변화하며, 대규모 데이터에 대해 실현 가능한가?
• RQ4 모수 분포가 동일하지만 의존성이 다른 공포라 기반 대안에서 기존 방법보다 Fasano–Franceschini 검정이 뛰어난 성능을 보이는가?
• RQ5 특히 위치 및 분산 대안에서, 고차원에서 검정력이 얼마나 떨어지는가?

주요 결과

• 공포라 기반 대안(Gaussian 및 Clayton)에서 Fasano–Franceschini 검정은 Cramér 및 DiProPerm 검정을 항상 앞서며, $d=10$에서 거의 1에 수렴하는 검정력을 확보했다.
• 위치 대안에서 Fasano–Franceschini 검정의 검정력은 $d=5$에서 최고에 도달한 후 $d=20$에 이르러 $\alpha=0.05$로 감소했고, Cramér 및 DiProPerm 검정은 차원이 증가함에 따라 검정력이 유지되거나 증가했다.
• 분산 대안에서 Fasano–Franceschini 검정과 Cramér 검정은 저차원에서 유사한 검정력을 보였지만, 고차원에서는 Cramér 검정이 더 높은 검정력을 유지했다.
• DiProPerm 검정은 고밀도 영역에서의 높은 겹침으로 인해 분산 및 공포라 대안에서 $\alpha=0.05$를 초과하는 검정력을 확보하지 못했으며, 선형 초평면을 통한 분리가 어려웠다.
• Fasano–Franceschini 검정은 정확한 p-값 계산과 효율적인 확장성을 보이며, 혼합형 또는 이산형 데이터를 포함한 고차원 데이터에 적합하다.
• 패키지의 구현은 계산적으로 효율적이며, 모든 데이터 유형과 차원을 지원하며, CRAN과 프로젝트 웹사이트에서 전체 문서와 소스 코드를 제공한다.