[論文レビュー] The Calibrated Kolmogorov-Smirnov Test

Amit Moscovich-Eiger, Boaz Nadler+1 more|arXiv (Cornell University)|Nov 13, 2013

Bayesian Methods and Mixture Models被引用数 9

ひとこと要約

本稿では、従来のKS検定が失敗する裾の部分で検出力が向上する、尾に敏感な適合度統計量である補正付きコルモゴロフ＝スミルノフ（CKS）検定を導入する。この検定は、経験的分布と仮説的分布の間で最も統計的に有意な乖離を特定し、稀で弱い混合モデルにおいて漸近的最適性を示す。また、片側適合度検定のためのp値を効率的に計算するアルゴリズムを提供し、CKS、ハイヤークリティシズム、バーグ＝ジョンズの検定を含む。

ABSTRACT

Continuous goodness-of-fit (GOF) is a classical hypothesis testing problem in statistics. Despite numerous suggestions, the Kolmogorov-Smirnov (KS) test is, by far, the most popular GOF test used in practice. Unfortunately, it lacks power at the tails, which is important in many practical applications. In this paper we study the tail-sensitive Calibrated KS (CKS) test statistic, which is intimately related to the works of Berk and Jones and to the Higher Criticism statistic. In contrast to KS, which considers the largest deviation between the empirical and assumed distributions, CKS looks for the deviation which is most statistically significant. We make two main contributions. First, we study some statistical properties of CKS, in particular proving its asymptotic optimality for a wide range of rare-weak mixture models. Second, we derive a novel computationally efficient method to calculate $p$-values for a broad family of one-sided GOF tests, including the one-sided version of CKS, as well as the Higher Criticism and the Berk-Jones tests. We conclude with some simulation results comparing the power of CKS to several other tests.

研究の動機と目的

• 分布の裾における古典的コルモゴロフ＝スミルノフ検定の検出力の低さという、実用的応用において重要な問題に対処する。
• 最も統計的に有意な乖離に注目することで、裾の乖離に高い感度を示す新しい検定統計量CKSを考案する。
• 信号が稀かつ弱いとされる広範なクラスの稀で弱い混合モデルにおいて、CKSの理論的最適性を確立する。
• 片側適合度検定のためのp値を計算する計算効率の良い手法を提供し、CKS、ハイヤークリティシズム、バーグ＝ジョンズを含む。
• シミュレーションを通じてCKSの経験的検出力を既存の検定と比較し、尾の検出において優位性を示す。

提案手法

• CKS検定統計量を、帰無仮説下での経験的プロセスの標準正規zスコアの最大値として定義する補正付きKS検定を提案する。
• 経験的分布関数をzスコアプロセスに変換する補正手順を用い、最大の統計的有意性を持つ乖離の検出を可能にする。
• 動的計画法と極値理論に基づく効率的アルゴリズムを導出し、CKSを含む片側適合度検定のp値計算を計算コストを低減して行う。
• ハイヤークリティシズムおよびバーグ＝ジョンズ統計量との関連を活用し、片側検定のための統一的枠組みに統合する。
• 漸近的理論を用いて、信号が稀かつ弱い混合モデルにおいてCKSが最良の検出力に達することを証明する。
• シミュレーション研究を通じて、p値計算手法の妥当性を検証し、CKS、KS、ハイヤークリティシズム、バーグ＝ジョンズの検出力をさまざまな代替仮説のもとで比較する。

実験結果

リサーチクエスチョン

• RQ1 コルモゴロフ＝スミルノフ検定の修正版は、分布の裾の乖離を検出する際に、より高い検出力を達成できるか？
• RQ2 信号が希少かつ弱い混合モデルにおいて、CKS検定は漸近的に最適か？
• RQ3 広範なクラスの片側適合度検定に適した、効率的かつ正確なp値計算手法を開発できるか？
• RQ4 有限標本設定において、CKSの検出力は古典的KS検定、ハイヤークリティシズム、バーグ＝ジョンズと比べてどうか？
• RQ5 最も統計的に有意な乖離（大きさではなく有意性）を検出するという観点から、CKSの理論的および経験的性能はいかがなものか？

主な発見

• CKS検定は、信号が稀かつ弱いとされる広範なクラスの混合モデルにおいて漸近的最適性を達成しており、この条件下で最高の検出力を有することが示された。
• 提案されたp値計算手法は、計算効率が高く正確であり、CKS、ハイヤークリティシズム、バーグ＝ジョンズを含む片側適合度検定の実用的実装を可能にした。
• シミュレーション結果から、CKSは特に信号が希少かつ弱い場合に、古典的KS検定よりも一貫して優れた尾の乖離検出性能を示した。
• 信号強度が中程度で裾に局在するようなスパース信号設定では、CKSはハイヤークリティシズムおよびバーグ＝ジョンズよりも検出力が高かった。
• CKSにおける補正手順により、経験的プロセスが標準正規枠組みにうまく変換され、高い統計的有意性を持つ乖離の検出が可能になった。
• 理論的枠組みにより、CKS、ハイヤークリティシズム、バーグ＝ジョンズが共通の片側検定パラダイムに統合され、共通の構造が明らかになり、一貫したp値計算が可能になった。