[論文レビュー] A Tail Sensitive Test for Cumulative Distribution Functions

Krzysztof A. Meissner|arXiv (Cornell University)|Jun 18, 2012

Statistical Distribution Estimation and Applications参考文献 1被引用数 6

ひとこと要約

本稿では、経験的CDFのパrameterized積分変換を用いて、裾の極値に高い重みを割り当てる、累積分布関数（CDF）の尾に敏感な検定を提案する。この手法は特性関数とガンマ関数の恒等式を用いて、正規性の仮定なしに正確なp値計算が可能な、検定統計量の明示的確率分布を導出する。主な結果として、極限状況における分布およびモーメントの解析的形が得られる。

ABSTRACT

We propose a simple way of testing whether a given set of observations can come from a given theoretical cumulative distribution. In the test more weight is attached to the tails of the distribution than in the usual Kolmogorov or Smirnov tests. The respective probability distribution is derived.

研究の動機と目的

• 標準のコルモゴロフ＝スミルノフ検定よりも分布の尾の逸脱に敏感な統計的検定を開発すること。
• 正規性を仮定せずに、極値（高い値および低い値）を明示的に重みづける手法を提供すること。
• 検定統計量の解析的に取り扱いやすい確率分布を導出し、正確な推論を可能にすること。
• 既存のノンパラメトリック検定の代替として、計算的に実行可能で解釈可能なCDF比較の代替手段を提供すること。

提案手法

• 検定は、$ a > 0 $ が尾の強調を制御するパrameterである、経験的CDFの変換 $ A^R_{a,n} = -\frac{a}{n}\sum_{i=1}^{n}\ln(1 - F(x_i)^a) $ を用いる。
• 検定統計量の特性関数は $ \langle e^{itA} \rangle = \left( \frac{\Gamma(1+1/a)\Gamma(1 - ita/n)}{\Gamma(1 - ita/n + 1/a)} \right)^n $ として導出される。
• 累積モーメントは特性関数の対数微分から計算され、$ \sigma_k(A) = a(k-1)! (a/n)^{k-1} \sum_{l=1}^\infty \left( \frac{1}{l^k} - \frac{1}{(l+1/a)^k} \right) $ が得られる。
• 大きな $ n $ および $ a $ に対しては、ガンマ関数およびディガンマ関数の漸近展開を用いて極限分布が導出され、累積分布関数の閉形式近似が得られる。
• 累積分布関数 $ G_a(n;\sigma) $ はフーリエ積分として表現され、高い精度で数値的に計算可能である。
• 粗いグリッドデータへの応用は、和の部分で $ 1/n $ を $ d_i/N $ に置き換えることで可能となり、度数分布データへの適用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 コルモゴロフ＝スミルノフ検定よりも尾の逸脱に敏感なCDF適合度検定を構築することは可能か？
• RQ2 正規性を仮定せず、尾に重みづけられたCDF検定の正確な確率分布を導出することは可能か？
• RQ3 検定統計量をどのようにパラメータ化すれば、分布の極値部分への柔軟な重み付けが可能になるか？
• RQ4 標本サイズと尾の重みパラメータが両方とも大きく増加する際の検定統計量の漸近的性質は何か？

主な発見

• $ a = 1 $ の場合、検定統計量 $ A $ の分布は正確にガンマ分布に還元され、$ g_1(n;s) = \frac{n^n s^{n-1}}{(n-1)!} e^{-ns} $ となり、平均は1、分散は $ 1/n $ である。
• 検定統計量の累積モーメントは $ \sigma_k(A) = a(k-1)! (a/n)^{k-1} \sum_{l=1}^\infty \left( \frac{1}{l^k} - \frac{1}{(l+1/a)^k} \right) $ として閉形式で与えられる。
• $ a, n \to \infty $ の極限で $ \alpha = a/n $ を固定すると、累積モーメントは $ \sigma_k = k! \zeta(k+1) \alpha^{k-1} $ に簡略化される。
• 極限状況における累積分布関数は $ G_\infty(\alpha;\sigma) = \Re \int_0^\infty dt \frac{1-e^{-it}}{i\pi t} \exp\left( -\frac{\gamma}{\alpha} - \frac{1}{\alpha} \psi(1 - i t \alpha / \sigma) \right) $ として与えられる。
• 数値評価により、$ G_\infty(1;1) = 0.439166 $、$ G_\infty(1;3) = 0.8390636 $、$ G_\infty(1;7) = 0.9898427 $、$ G_\infty(1;17) = 0.999995 $ が得られ、尾の逸脱検出に高い検出力を持つことが示された。
• 大きな $ \alpha $ に対する漸近展開により、$ G_\infty(\alpha;\sigma) = (1 - e^{-y})^{1/\alpha} \left(1 + \sum_{k=2}^\infty \frac{f_k(y)}{\alpha^k} \right) $ が得られ、$ y = \sigma / \alpha $ であり、$ f_2(y) = \frac{y}{2}\ln(1 - e^{-y}) - \frac{1}{2} \sum_{l=1}^\infty \frac{e^{-ly}}{l^2} $ である。