[論文レビュー] A comparison of the discrete Kolmogorov-Smirnov statistic and the Euclidean distance

Jacob Carruth, Mark Tygert+1 more|arXiv (Cornell University)|Jun 27, 2012

Statistical Mechanics and Entropy参考文献 24被引用数 4

ひとこと要約

この論文は、離散確率分布の適合度の測度として、離散コルモゴロフ＝スミルノフ（KS）統計量とユークリッド距離を比較する。理論的分析と複数のデータセットで400万回のモンテカルロシミュレーションを実施した結果、データに自然な順序（順序尺度）がある場合にはKS統計量がより検出力が高く、順序のない（名目尺度）場合にはユークリッド距離がより信頼性が高く解釈可能であることが示された。

ABSTRACT

Goodness-of-fit tests gauge whether a given set of observations is consistent (up to expected random fluctuations) with arising as independent and identically distributed (i.i.d.) draws from a user-specified probability distribution known as the "model." The standard gauges involve the discrepancy between the model and the empirical distribution of the observed draws. Some measures of discrepancy are cumulative; others are not. The most popular cumulative measure is the Kolmogorov-Smirnov statistic; when all probability distributions under consideration are discrete, a natural noncumulative measure is the Euclidean distance between the model and the empirical distributions. In the present paper, both mathematical analysis and its illustration via various data sets indicate that the Kolmogorov-Smirnov statistic tends to be more powerful than the Euclidean distance when there is a natural ordering for the values that the draws can take -- that is, when the data is ordinal -- whereas the Euclidean distance is more reliable and more easily understood than the Kolmogorov-Smirnov statistic when there is no natural ordering (or partial order) -- that is, when the data is nominal.

研究の動機と目的

• 離散分布の適合度検定における離散コルモゴロフ＝スミルノフ（KS）統計量とユークリッド距離の統計的検出力および信頼性を評価・比較すること。
• KS（累積的で順序依存）とユークリッド距離（非累積的で順序不変）というそれぞれの検定統計量が、どのような条件下でより適切であるかを特定すること。
• データのビンに自然な順序が存在するか否かに応じて、最適な乖離測度を選択するための理論的および実証的指針を提供すること。
• リヒスヘプロタイプ、キャンディの色の頻度、遺伝的平衡の検定といった実世界のデータセットを用いて、性能の違いを提示すること。
• 順序尺度データにはKSが好ましく、名目尺度データにはユークリッド距離がより頑健で解釈可能であるという結論を支持すること。

提案手法

• 本研究では、2つの乖離測度を定義する：離散KS統計量（モデルと実証的分布の累積分布関数の最大絶対差を計算）とユークリッド距離（2つの分布の差のL2ノルムを計算）。
• KS統計量は $ d_1(a,b) = \max_{1\leq k\leq m} \left| \sum_{j=1}^{k} a^{(j)} - \sum_{j=1}^{k} b^{(j)} \right| $ で計算され、ユークリッド距離は $ d_2(a,b) = \sqrt{\sum_{j=1}^{m} (a^{(j)} - b^{(j)})^2} $ で計算される。
• p値はモンテカルロシミュレーションにより算出される：各検定において、仮定されたモデル $ p_0(\hat{\theta}) $ から独立同一分布に従う4,000,000個のサンプルを抽出し、シミュレートされた乖離値のうち観測された乖離値を上回る割合をp値とする。
• 分析では、ランダムネスの検定、ポisson性の検定、ハードイ＝ワインバーグ平衡の検定、一様性の検定の4つの実データセットを用い、ビンの順序を変えて感度を評価した。
• 自然な順序のないデータ（例：キャンディの色）では、複数の擬似ランダム順序を用いてKSのp値の安定性を評価したが、ユークリッド距離は順序に依存しない。
• 古典的統計量（$ \chi^2 $、$ G^2 $、フレイマン＝トゥーキー）と比較し、ユークリッド距離が他の順序不変検定と同様に動作することを確認した。

実験結果

リサーチクエスチョン

• RQ1 離散コルモゴロフ＝スミルノフ統計量が、離散分布の適合度検定においてユークリッド距離を上回る検出力を持つのはどのような場合か？
• RQ2 データのビンに自然な順序が存在するか否かが、KS統計量とユークリッド距離の信頼性および解釈可能性に与える影響はいかほどか？
• RQ3 自然な順序が存在しない場合、ビンの順序を変更してもKS統計量のp値はどの程度変動するか？
• RQ4 ビンの順序が存在しない状況下で、ユークリッド距離のp値は、$ \chi^2 $ や $ G^2 $ といった古典的順序不変統計量のp値とどのように比較できるか？
• RQ5 データに依存するビンの順序付けが、KS統計量の挙動を顕著に変化させ得るか？ もし可能であれば、その影響は推論にどのように現れるか？

主な発見

• データに自然な順序（例：順序尺度データ）がある場合には、KS統計量がユークリッド距離よりも検出力が高く、累積情報を利用し、分布の末尾や中央部のずれに敏感であるためである。
• 自然な順序が存在しない（例：キャンディの色のような名目尺度データ）場合には、ユークリッド距離がKS統計量よりもp値がより安定的かつ信頼性が高く、同じビンの異なる順序で顕著な変動を示さない。
• キャンディの色データセット（表2）では、ユークリッド距離のp値は0.770であり、ユークリッド距離と$ \chi^2 $の平方根が比例するため、$ \chi^2 $と完全に一致し、ビン順序に依存しないことを確認した。
• リヒスヘプロタイプデータセットでは、10通りの擬似ランダム順序に対してKSのp値が広範囲にわたって変動した（図5）が、ユークリッド距離は一定のままであり、順序の不確実性下でも頑健であることを示した。
• 一様性の検定（キャンディの色）では、ユークリッド距離のp値は0.770であったが、$ \chi^2 $、$ G^2 $、フレイマン＝トゥーキーといった古典的統計量も同様の値（0.770、0.766、0.755）を示し、既存の順序不変検定と整合的であることを確認した。
• KS統計量は低頻度の乖離に注目しがちで、累積的性質のため高頻度の差を隠ぺいする傾向がある。一方、ユークリッド距離はすべてのビンの乖離を等価に扱うため、順序のない状況下ではより透明で解釈しやすい。