[논문 리뷰] A Tail Sensitive Test for Cumulative Distribution Functions

Krzysztof A. Meissner|arXiv (Cornell University)|2012. 06. 18.

Statistical Distribution Estimation and Applications참고 문헌 1인용 수 6

한 줄 요약

이 논문은 경험적 누적분포함수의 적분 변환을 사용하여 꼬리 부분의 극단치에 더 큰 가중치를 부여하는 꼬리 민감도 테스트를 제안한다. 이 방법은 특성함수와 감마함수 항등식을 통해 검정 통계량의 명시적 확률분포를 유도하며, 정규성 가정 없이 정확한 p-값 계산이 가능하다. 주요 결과로는 한계 경우에서 분포와 모멘트의 해석적 형태를 도출한다.

ABSTRACT

We propose a simple way of testing whether a given set of observations can come from a given theoretical cumulative distribution. In the test more weight is attached to the tails of the distribution than in the usual Kolmogorov or Smirnov tests. The respective probability distribution is derived.

연구 동기 및 목표

• 기존 콜모고로프-스미르노프 검정보다 분포의 꼬리 부분에서의 이탈에 더 민감한 통계적 검정을 개발하기 위해.
• 정규성 가정 없이 극단치(높음 및 낮음)에 대해 명시적인 가중치를 적용하는 방법을 제공하기 위해.
• 검정 통계량에 대해 분석적으로 다룰 수 있는 확률분포를 도출하여 정확한 추론을 가능하게 하기 위해.
• 기존 비모수적 검정의 계산 가능하고 해석 가능한 대안을 제공하기 위해.

제안 방법

• 검정은 경험적 CDF를 적분 $ A^R_{a,n} = -\frac{a}{n}\sum_{i=1}^{n}\ln(1 - F(x_i)^a) $ 를 통해 변환하며, $ a > 0 $ 는 꼬리 강조 정도를 제어한다.
• 검정 통계량의 특성함수는 $ \langle e^{itA} \rangle = \left( \frac{\Gamma(1+1/a)\Gamma(1 - ita/n)}{\Gamma(1 - ita/n + 1/a)} \right)^n $ 로 유도된다.
• 분포의 모멘트는 특성함수의 로그 미분에서 유도되며, $ \sigma_k(A) = a(k-1)! (a/n)^{k-1} \sum_{l=1}^\infty \left( \frac{1}{l^k} - \frac{1}{(l+1/a)^k} \right) $ 로 표현된다.
• 큰 $ n $ 과 $ a $ 에 대해 감마함수와 다이감마함수의 점근 전개를 사용하여 극한 분포를 도출하며, 누적분포함수에 대한 닫힌 형태의 근사식을 도출한다.
• 누적분포함수 $ G_a(n;\sigma) $ 는 푸리에 적분으로 표현되며 고정밀도 수치 계산이 가능하다.
• 구간화된 데이터에 적용하기 위해 합계에서 $ 1/n $ 을 $ d_i/N $ 으로 대체함으로써 이 방법을 굵은 해상도 데이터로 확장할 수 있다.

실험 결과

연구 질문

• RQ1 기존 콜모고로프-스미르노프 검정보다 꼬리 부분의 이탈에 더 민감한 CDF 적합도 검정을 구성할 수 있는가?
• RQ2 정규성 가정 없이 꼬리 가중치가 부여된 CDF 검정에 대해 정확한 확률분포를 도출할 수 있는가?
• RQ3 검정 통계량을 어떻게 매개변수화하여 분포의 극단치 부분에 대해 민감도를 자유롭게 조절할 수 있는가?
• RQ4 표본 크기와 꼬리 무게 매개변수 모두가 매우 클 때 검정 통계량의 점근적 성질은 어떠한가?

주요 결과

• a = 1 인 경우, 검정 통계량 A의 분포는 정확히 감마분포로 축소되며, $ g_1(n;s) = \frac{n^n s^{n-1}}{(n-1)!} e^{-ns} $ 로 주어지며, 평균은 1이고 분산은 $ 1/n $ 이다.
• 검정 통계량의 모멘트는 $ \sigma_k(A) = a(k-1)! (a/n)^{k-1} \sum_{l=1}^\infty \left( \frac{1}{l^k} - \frac{1}{(l+1/a)^k} \right) $ 로 명시적으로 주어진다.
• a, n \to \infty 이면서 $ \alpha = a/n $ 이 일정할 경우, 모멘트는 $ \sigma_k = k! \zeta(k+1) \alpha^{k-1} $ 로 단순화된다.
• 극한 경우의 누적분포함수는 $ G_\infty(\alpha;\sigma) = \Re \int_0^\infty dt \frac{1-e^{-it}}{i\pi t} \exp\left( -\frac{\gamma}{\alpha} - \frac{1}{\alpha} \psi(1 - i t \alpha / \sigma) \right) $ 로 주어진다.
• 수치적 평가 결과 $ G_\infty(1;1) = 0.439166 $, $ G_\infty(1;3) = 0.8390636 $, $ G_\infty(1;7) = 0.9898427 $, $ G_\infty(1;17) = 0.999995 $ 로 나타나 꼬리 이탈 탐지에 높은 검정력이 있음을 보여준다.
• 큰 $ \alpha $ 에 대한 점근 전개는 $ G_\infty(\alpha;\sigma) = (1 - e^{-y})^{1/\alpha} \left(1 + \sum_{k=2}^\infty \frac{f_k(y)}{\alpha^k} \right) $ 를 유도하며, $ y = \sigma / \alpha $ 이고, $ f_2(y) = \frac{y}{2}\ln(1 - e^{-y}) - \frac{1}{2} \sum_{l=1}^\infty \frac{e^{-ly}}{l^2} $ 이다.