[논문 리뷰] A comparison of the discrete Kolmogorov-Smirnov statistic and the Euclidean distance

Jacob Carruth, Mark Tygert외 1명|arXiv (Cornell University)|2012. 06. 27.

Statistical Mechanics and Entropy참고 문헌 24인용 수 4

한 줄 요약

이 논문은 이산 확률 분포에 대한 적합도 측정법으로서 이산 콜모고로프-스미르노프(KS) 통계량과 유클리드 거리를 비교한다. 이론적 분석과 여러 데이터셋에서 400만 번의 몬테카를로 시뮬레이션을 통해, 데이터에 자연스러운 순서가 있을 경우(순서형), KS 통계량이 더 강력한 반면, 그러한 순서가 없을 경우(명목형), 유클리드 거리가 더 신뢰성 있고 해석 가능하다는 것을 입증한다.

ABSTRACT

Goodness-of-fit tests gauge whether a given set of observations is consistent (up to expected random fluctuations) with arising as independent and identically distributed (i.i.d.) draws from a user-specified probability distribution known as the "model." The standard gauges involve the discrepancy between the model and the empirical distribution of the observed draws. Some measures of discrepancy are cumulative; others are not. The most popular cumulative measure is the Kolmogorov-Smirnov statistic; when all probability distributions under consideration are discrete, a natural noncumulative measure is the Euclidean distance between the model and the empirical distributions. In the present paper, both mathematical analysis and its illustration via various data sets indicate that the Kolmogorov-Smirnov statistic tends to be more powerful than the Euclidean distance when there is a natural ordering for the values that the draws can take -- that is, when the data is ordinal -- whereas the Euclidean distance is more reliable and more easily understood than the Kolmogorov-Smirnov statistic when there is no natural ordering (or partial order) -- that is, when the data is nominal.

연구 동기 및 목표

• 이산 분포에 대한 적합도 검정에서 이산 콜모고로프-스미르노프(KS) 통계량과 유클리드 거리의 통계적 검정력과 신뢰성의 평가 및 비교.
• KS 통계량(누적, 순서에 의존)과 유클리드 거리(비누적, 순서에 불변)가 각각 어떤 조건에서 더 적절한지 규명.
• 데이터의 분할에 자연스러운 순서가 존재하는지 여부에 따라 최적의 이질성 측정법을 선택하는 데 있어 이론적 및 경험적 지침 제공.
• 리히스 헵라입, 캔디 색상 빈도, 유전자 평형 검정 등 실제 데이터셋을 사용하여 성능 차이를 시각화.
• 순서형 데이터에서는 KS가 바람직하며, 자연적 순서가 없는 명목형 데이터에서는 유클리드 거리가 더 강건하고 해석 가능하다는 권고를 뒷받침.

제안 방법

• 연구는 두 가지 이질성 측정법을 정의한다: 이산 KS 통계량은 모델과 경험적 분포의 누적분포함수 간 최대 절대차이를 계산하며, 유클리드 거리는 두 분포 간 차이의 L2 노름을 계산한다.
• KS 통계량은 $ d_1(a,b) = \max_{1\leq k\leq m} \left| \sum_{j=1}^{k} a^{(j)} - \sum_{j=1}^{k} b^{(j)} \right| $ 로 계산되고, 유클리드 거리는 $ d_2(a,b) = \sqrt{\sum_{j=1}^{m} (a^{(j)} - b^{(j)})^2} $ 이다.
• P-값은 몬테카를로 시뮬레이션을 통해 계산된다: 각 검정마다 가정된 모델 $ p_0(\hat{\theta}) $ 에서 4,000,000개의 i.i.d. 표본을 추출하고, 시뮬레이션된 이질성 값 중 관측된 이질성보다 큰 비율을 P-값으로 간주한다.
• 분석은 네 가지 실제 데이터셋에서 수행된다: 무작위성 검정, 포isson성 검정, 하디-바이너그 평형 검정, 균일성 검정으로, 분할 순서를 다양하게 바꿔 민감도를 평가한다.
• 자연스러운 순서가 없는 데이터셋(예: 캔디 색상)의 경우, KS P-값의 안정성을 평가하기 위해 다수의 가짜 랜덤 순서를 테스트하며, 유클리드 거리는 이를 불변으로 유지한다.
• 기존의 통계량인 $ \chi^2 $, $ G^2 $, 프리먼-트케이와 비교하여 유클리드 거리가 다른 순서 불변 검정과 유사하게 행동함을 확인했다.

실험 결과

연구 질문

• RQ1 이산 콜모고로프-스미르노프 통계량이 이산 분포의 적합도 검정에서 유클리드 거리보다 더 강력한 경우는 언제인가?
• RQ2 데이터 분할에 자연스러운 순서가 존재하는지 여부가 KS 통계량과 유클리드 거리의 신뢰성과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 자연스러운 순서가 없는 경우, 분할 순서가 달라질 때 KS 통계량의 P-값은 어느 정도 변동하는가?
• RQ4 분할 순서가 없는 상황에서 유클리드 거리의 P-값은 $ \chi^2 $ 및 $ G^2 $와 같은 전통적 순서 불변 통계량과 어떻게 비교되는가?
• RQ5 데이터 기반 분할 순서가 KS 통계량의 행동을 크게 변화시킬 수 있는가? 만약 그렇다면, 이는 추론에 어떤 영향을 미치는가?

주요 결과

• 자연스러운 순서가 있는 경우(예: 순서형 데이터), KS 통계량은 누적 정보를 활용하고 분포의 꼬리나 중앙에서의 이탈에 민감하므로 유클리드 거리보다 더 강력하다.
• 자연스러운 순서가 없는 경우(예: 캔디 색상과 같은 명목형 데이터), 유클리드 거리는 KS 통계량이 동일한 분할에 대해 다양한 순서에서 크게 변동하는 것과는 달리 더 안정적이고 신뢰할 수 있는 P-값을 생성한다.
• 캔디 색상 데이터셋(표 2)에서 유클리드 거리는 P-값 0.770을 도출했으며, 이는 유클리드 거리와 $ \chi^2 $의 제곱근이 직접 비례하기 때문에 $ \chi^2 $와 정확히 일치했고, 이는 분할 순서에 불변임을 확인한다.
• 리히스 헵라입 데이터셋에서 KS P-값은 10개의 가짜 랜덤 순서에 대해 크게 변동(그림 5), 반면 유클리드 거리는 일정하게 유지되어, 순서 불확실성 하에서의 강건성을 입증한다.
• 균일성 검정(캔디 색상)에서 유클리드 거리의 P-값은 0.770이었고, $ \chi^2 $, $ G^2 $, 프리먼-트케이와 같은 전통적 통계량 역시 유사한 값(0.770, 0.766, 0.755)을 보여, 기존의 순서 불변 검정과의 일관성을 확인한다.
• KS 통계량은 저빈도 이질성에 초점을 맞추며, 누적 성격으로 인해 고빈도 이질성을 가림으로써 해석에 어려움을 줄 수 있다. 반면 유클리드 거리는 모든 분할의 이질성을 동일하게 취급하므로, 순서가 없는 환경에서 더 투명하고 해석 가능하다.