[论文解读] A Tail Sensitive Test for Cumulative Distribution Functions

Krzysztof A. Meissner|arXiv (Cornell University)|Jun 18, 2012

Statistical Distribution Estimation and Applications参考文献 1被引用 6

一句话总结

本文提出了一种针对累积分布函数（CDF）的尾部敏感检验方法，通过使用经验CDF的参数化积分变换，为尾部的极端值分配更大的权重。该方法利用特征函数和伽马函数恒等式，推导出检验统计量的显式概率分布，从而在无需正态性假设的情况下实现精确p值计算。关键结果表明，在极限情况下，分布和矩的解析形式均可获得。

ABSTRACT

We propose a simple way of testing whether a given set of observations can come from a given theoretical cumulative distribution. In the test more weight is attached to the tails of the distribution than in the usual Kolmogorov or Smirnov tests. The respective probability distribution is derived.

研究动机与目标

• 开发一种比标准Kolmogorov-Smirnov检验对分布尾部偏离更敏感的统计检验方法。
• 提供一种显式加权极端值（高值与低值）的CDF检验方法，且无需假设正态性。
• 为检验统计量推导出可解析处理的概率分布，从而实现精确推断。
• 提供一种计算上可行且易于解释的非参数CDF比较检验方法，作为现有方法的替代方案。

提出的方法

• 该检验通过积分 $ A^R_{a,n} = -\frac{a}{n}\sum_{i=1}^{n}\ln(1 - F(x_i)^a) $ 对经验CDF进行变换，其中 $ a > 0 $ 控制尾部强调程度。
• 检验统计量的特征函数推导为 $ \langle e^{itA} \rangle = \left( \frac{\Gamma(1+1/a)\Gamma(1 - ita/n)}{\Gamma(1 - ita/n + 1/a)} \right)^n $。
• 通过特征函数的对数导数计算分布的累积量，得到 $ \sigma_k(A) = a(k-1)! (a/n)^{k-1} \sum_{l=1}^\infty \left( \frac{1}{l^k} - \frac{1}{(l+1/a)^k} \right) $。
• 对于大 $ n $ 和 $ a $，利用伽马函数与digamma函数的渐近展开，推导出极限分布，从而得到累积分布函数的闭式近似。
• 累积分布函数 $ G_a(n;\sigma) $ 表示为傅里叶积分，并以高精度进行数值计算。
• 该方法可扩展至粗粒度数据，通过在求和中用 $ d_i/N $ 替代 $ 1/n $，从而适用于分箱数据。

实验结果

研究问题

• RQ1 能否构建一种比Kolmogorov-Smirnov检验对分布尾部偏离更敏感的CDF拟合优度检验？
• RQ2 是否可能在不假设正态性的前提下，为一种尾部加权的CDF检验推导出精确的概率分布？
• RQ3 如何对检验统计量进行参数化，以灵活强调分布中的极端值？
• RQ4 当样本量和尾部权重参数同时趋于无穷大时，检验统计量的渐近性质是什么？

主要发现

• 当 $ a = 1 $ 时，检验统计量 $ A $ 的分布精确简化为伽马分布：$ g_1(n;s) = \frac{n^n s^{n-1}}{(n-1)!} e^{-ns} $，其均值为1，方差为 $ 1/n $。
• 检验统计量的累积量以闭式表达为 $ \sigma_k(A) = a(k-1)! (a/n)^{k-1} \sum_{l=1}^\infty \left( \frac{1}{l^k} - \frac{1}{(l+1/a)^k} \right) $。
• 在 $ a, n \to \infty $ 且 $ \alpha = a/n $ 固定时，累积量简化为 $ \sigma_k = k! \zeta(k+1) \alpha^{k-1} $。
• 极限情况下的累积分布函数为 $ G_\infty(\alpha;\sigma) = \Re \int_0^\infty dt \frac{1-e^{-it}}{i\pi t} \exp\left( -\frac{\gamma}{\alpha} - \frac{1}{\alpha} \psi(1 - i t \alpha / \sigma) \right) $。
• 数值计算结果为：$ G_\infty(1;1) = 0.439166 $，$ G_\infty(1;3) = 0.8390636 $，$ G_\infty(1;7) = 0.9898427 $，$ G_\infty(1;17) = 0.999995 $，表明对尾部偏离具有高检验效能。
• 对于大 $ \alpha $ 的渐近展开为 $ G_\infty(\alpha;\sigma) = (1 - e^{-y})^{1/\alpha} \left(1 + \sum_{k=2}^\infty \frac{f_k(y)}{\alpha^k} \right) $，其中 $ y = \sigma / \alpha $，且 $ f_2(y) = \frac{y}{2}\ln(1 - e^{-y}) - \frac{1}{2} \sum_{l=1}^\infty \frac{e^{-ly}}{l^2} $。