[論文レビュー] Testing Consistency of Two Histograms

F. C. Porter|ArXiv.org|Apr 2, 2008

Advanced Statistical Methods and Models参考文献 5被引用数 30

ひとこと要約

この論文は、2つのヒストグラムが同じ母集団分布から抽出されたものかどうかを評価するための複数の統計的検定を評価している。モンテカルロシミュレーションを用いてカイ二乗検定、尤度比検定、コルモゴロフ＝スミルノフ検定、Cramér＝ボン・ミーゼス検定、アンダーソン＝ダーリング検定、および2標本BDM検定を比較した結果、どの検定も普遍的に優れているとは限らず、局所的な形状の違いを検出するにはカイ二乗検定と尤度比検定が最も優れていることが判明した。一方、累積分布関数に基づく検定（KS、CVM、AD）は、振動的代替仮説に対しては効果がなかった。

ABSTRACT

Several approaches to testing the hypothesis that two histograms are drawn from the same distribution are investigated. We note that single-sample continuous distribution tests may be adapted to this two-sample grouped data situation. The difficulty of not having a fully-specified null hypothesis is an important consideration in the general case, and care is required in estimating probabilities with ``toy'' Monte Carlo simulations. The performance of several common tests is compared; no single test performs best in all situations.

研究の動機と目的

• 2つのヒストグラムが同じ分布から抽出されたかどうかを判断するための、さまざまな2標本適合度検定の性能を評価すること。
• 帰無仮説が完全に指定されていない場合のモンテカルロシミュレーションの信頼性を評価すること。
• 異なる代替分布下でのヒストグラム形状の逸脱を検出するための、どの検定統計量が最も検出力が高いかを特定すること。
• 予想される逸脱の性質（局所的 vs. 全体的、振動的 vs. 単調的）に応じた検定選択の指針を提供すること。

提案手法

• カイ二乗検定、コルモゴロフ＝スミルノフ検定、アンダーソン＝ダーリング検定などの単標本連続分布検定を、ヒストグラムという2標本グループ化データの状況に適応する。
• 「おもちゃ」データを用いたモンテカルロシミュレーションにより、さまざまな代替分布下での第一種・第二種の誤り率を推定する。
• 帰無仮説における平均が等しいという条件下で、カイ二乗検定統計量 $ T = \sum_{i=1}^{k} \frac{(u_i - v_i)^2}{\sigma_i^2} $ を用いる。ここで $ \sigma_i^2 = \mu_i + \nu_i $ である。
• 尤度比検定は $ \ln \lambda = \sum_{i=1}^{k} \left[ (u_i + v_i) \ln \left( \frac{u_i + v_i}{2} \right) - u_i \ln u_i - v_i \ln v_i \right] $ を用いて実施する。
• 特定の代替分布（例：振幅を変化させる歯型パターン）下でデータをシミュレートし、各検定の検出力を評価する。
• すべての計算およびシミュレーションベースのp値推定にはR統計パッケージを用いる。

実験結果

リサーチクエスチョン

• RQ1 真の分布が局所的に異なる場合、ヒストグラム形状の違いを検出するのに最も検出力が高い統計的検定は何か？
• RQ2 代替分布に局所的な振動が存在する場合、累積分布関数に基づく検定（例：KS、CVM、AD）はどのように性能を発揮するか？
• RQ3 2標本ヒストグラム検定において、帰無仮説が完全に指定されていない状況でモンテカルロシミュレーションを用いる場合、どのような影響が生じるか？
• RQ4 どのような条件下で尤度比検定が他の検定を上回る性能を示すか？
• RQ5 2つのヒストグラムを比較する際、普遍的に最適な検定は存在するのか、それとも性能は予想される逸脱の性質に依存するのか？

主な発見

• カイ二乗検定と尤度比検定は、1セルあたり1カウントの背景に50%の歯型振動を加えた場合、それぞれ47.8%および49.6%の最高の検出力を示した。
• 累積分布関数に基づく検定（KS、CVM、AD）は著しく劣っており、同様の代替仮説下で帰無仮説を棄却する確率が1.0%～1.2%にとどまり、これは帰無仮説からランダムにサンプリングした場合と同等であった。
• BDM検定は中程度の検出力（50%の歯型振動で33.6%）を示し、KS、CVM、ADを上回ったが、カイ二乗検定と尤度比検定には及ばなかった。
• $ \ln \mathbf{L} $ 検定は、しばしば議論の的となるが、50%の歯型振動に対しては低検出力（10.0%）を示し、他の検定と同等以下の性能であった。
• どの検定もすべての代替仮説において一貫して優れていたわけではなく、性能は逸脱の性質（例：局所的 vs. 全体的、振動的 vs. 単調的）に強く依存した。
• 特に帰無仮説が完全に指定されていない場合、シミュレーションは注意深く検証する必要がある。ナーバルなモンテカルロ手法では、誤った第一種の誤り率が得られる可能性がある。