[논문 리뷰] Numerically more stable computation of the p-values for the two-sample Kolmogorov-Smirnov test

Thomas Viehmann|arXiv (Cornell University)|2021. 02. 16.

Statistical Mechanics and Entropy참고 문헌 1인용 수 4

한 줄 요약

이 논문은 두 표본 콜모고로프-스미르노프 검정에서 정확한 p-값을 계산하기 위한 수치적으로 안정적인 방법을 제안한다. 표준 재귀 관계를 보완 확률 $ C_{i,j} $를 사용해 재구성함으로써 부동소수점 산술에서의 치명적인 취소 오차를 방지한다. 새로운 재귀 관계는 $ C_{i,j} $를 이웃 값들의 가중 평균으로 계산하여 오차 전파를 안정화시키며, 이로 인해 큰 표본 크기에서도 정확한 p-값 추정이 가능해진다.

ABSTRACT

The two-sample Kolmogorov-Smirnov test is a widely used statistical test for detecting whether two samples are likely to come from the same distribution. Implementations typically recur on an article of Hodges from 1957. The advances in computation speed make it feasible to compute exact p-values for a much larger range of problem sizes, but these run into numerical stability problems from floating point operations. We provide a simple transformation of the defining recurrence for the two-side two-sample KS test that avoids this.

연구 동기 및 목표

• 부동소수점 산술로 인한 수치적 불안정성으로 인해 기존 두 표본 콜모고로프-스미르노프 검정의 p-값 계산 구현에서 발생하는 문제를 해결하기 위해.
• 이전에 가능했던 것보다 더 큰 표본 크기에서 정확한 p-값을 수치적으로 안정적인 방식으로 계산할 수 있도록 하기 위해.
• 1 - P_2를 계산하는 표준 경로 수 세기 재귀 관계가 부족수 또는 오버플로우 위험을 야기할 수 있으므로, 더 견고한 대안으로 교체하기 위해.
• 부동소수점 연산에서 취소 오차를 방지하고 수치적으로 신뢰할 수 있는 알고리즘을 제공하여 p-값 계산을 안정화하기 위해.

제안 방법

• 논문은 $ C_{i,j} $에 대한 새로운 재귀 관계를 도입한다. 여기서 $ C_{i,j} $는 $ 1 - A_{i,j}/\binom{i+j}{i} $로 정의되며, $ d $-코리도어를 벗어나는 경로의 비율을 나타낸다.
• 내부 점들에 대해서는 $ C_{i,j} = C_{i-1,j} \frac{i}{i+j} + C_{i,j-1} \frac{j}{i+j} $라는 재귀 관계를 사용하여 $ C_{i,j} $가 이웃 값들의 볼록 조합을 유지하도록 보장한다.
• 경계 조건은 $ |i/m - j/n| \geq d $이면 $ C_{i,j} = 1 $로 설정하고, $ i=0 $ 또는 $ j=0 $이면서 코리도어 내에 있으면 $ C_{i,j} = 0 $으로 설정한다.
• 알고리즘은 대각선을 따라 반복하며, 메모리 사용을 줄이기 위해 코리도어 내에서 현재 및 이전 행만 추적한다.
• 구현은 다이나믹 프로그래밍을 사용하며, 대각선을 따라 슬라이딩 윈도우를 적용하여 메모리와 계산 효율을 극대화한다.
• 이 방법은 파이썬, 나바, C++로 구현되었으며, 사이파이의 경로 수 세기 방법과 성능 비교가 이루어졌다.

실험 결과

연구 질문

• RQ1 두 표본 KS 검정에서 정확한 p-값 계산을 위한 표준 경로 수 세기 재귀 관계의 수치적으로 안정적인 대안을 개발할 수 있는가?
• RQ2 1 - P_2의 계산을 보완 확률 $ C_{i,j} $로 대체함으로써 부동소수점 산술에서의 수치적 안정성이 향상되는가?
• RQ3 새로운 재귀 관계가 큰 표본 크기에서 취소 오차를 얼마나 효과적으로 방지하고 정확성을 유지하는가?
• RQ4 이 새로운 방법은 사이파이의 기존 구현과 비교해 성능가능성은 어떠한가?

주요 결과

• 제안된 $ C_{i,j} $에 대한 재귀 관계는 $ 1 - P_2 $를 계산할 때 발생할 수 있는 수치적 불안정성을 피하며, 이는 부동소수점 산술에서 부족수 또는 오버플로우를 유발할 수 있다.
• 새로운 방법은 $ C_{i,j} $가 이웃 값들의 가중 평균이 되도록 보장하여 유리한 오차 전파를 촉진하고 치명적인 취소 오차를 방지한다.
• 기존 방법이 부동소수점 정밀도 한계로 인해 실패하는 경우에도 이 알고리즘은 큰 표본 크기에서도 높은 정확도를 유지한다.
• 기본 형태로 구현했을 때 이 방법은 사이파이의 최적화된 경로 수 세기 방법보다 약 4배 느리지만, 훨씬 뛰어난 수치적 안정성을 제공한다.
• 대각선을 따라 슬라이딩 윈도우 방식으로 값만 추적함으로써 메모리 사용을 효율적으로 줄여 저장 요구량을 감소시킨다.
• 이 방법은 확장 가능하며 외부 방법으로의 적용도 가능할 수 있으나, 이는 향후 연구의 열린 방향으로 남아 있다.