[論文レビュー] Comparison of different goodness-of-fit tests

B. Aslan, G. Zech|ArXiv.org|Jul 31, 2002

Probabilistic and Robust Engineering Design参考文献 5被引用数 14

ひとこと要約

本稿では、実験データにおける徐々に変化するずれを検出することを目的とした、二つの新しいバイニングフリーの適合度検定——単変量の三領域検定と多変量エネルギー検定——を導入する。エネルギー検定は、特に多変量設定において、従来の $χ^2$ 検定よりも優れたパワーを示し、物理学および統計学における現代の高次元データ解析の強力な代替手法である。

ABSTRACT

Various distribution free goodness-of-fit test procedures have been extracted from literature. We present two new binning free tests, the univariate three-region-test and the multivariate energy test. The power of the selected tests with respect to different slowly varying distortions of experimental distributions are investigated. None of the tests is optimum for all distortions. The energy test has high power in many applications and is superior to the chi^2 test.

研究の動機と目的

• $χ^2$ 検定の限界、特に任意のバイニングに依存することと、徐々に変化するずれに対して力が弱いことへの対処。
• データ変換に対して不変で、高次元データに適した、分布に依存しない適合度検定の開発と評価。
• 特に実験物理学に一般的な種類のデータ歪みにおいて、さまざまな適合度検定のパワーを比較すること。
• エネルギー検定を、強力で多変量的かつバイニングフリーな $χ^2$ の代替手法として提案し、実効的な性能を示すこと。
• コルモゴロフ＝スミルノフ検定やアンダーソン＝ダーリング検定といった古典的検定よりも、微細で局所的でない歪みを検出する能力においてエネルギー検定が優れていることを示すこと。

提案手法

• データ範囲を三つの領域に分割し、観測度数と期待度数を比較することでずれや分散の変化を検出する、単変量の三領域検定を提案。
• データポイント間の対比較距離に基づく多変量エネルギー検定を導入し、相関関数（例：ガウス型または逆べき乗則）を用いて帰無仮説からの乖離を測定。
• 二点間距離の関数 $ f(r) $ を用いた距離ベースの検定統計量 $ T = \sum_{i<j} \left[ f(r_{ij}) - \mathbb{E}[f(r_{ij})] \right]^2 $ を定義。
• エネルギー検定における距離が極めて小さい場合の特異性を回避するため、下限カットオフ $ d_{\text{min}} $ を導入し、実験的分解能に頑健であるようにする。
• 歪みの種類に応じた感度を評価するため、ガウス型および対数型相関関数を用いてエネルギー検定を適用。
• モンテカルロシミュレーションと、さまざまな代替仮説（例：平均のずれ、分散の変化、バックグラウンドの汚染）の下でのパワー比較により、検定の性能を評価。

実験結果

リサーチクエスチョン

• RQ1 徐々に変化するずれの下で、エネルギー検定のパワーは、$χ^2$、コルモゴロフ＝スミルノフ、アンダーソン＝ダーリングといった古典的適合度検定と比べてどの程度か？
• RQ2 特定のパラメトリックな形を仮定せず、多様なデータ歪みに対して高いパワーを維持できるバイニングフリーな多変量検定を構築可能か？
• RQ3 三領域検定は、既存の単変量検定と比較して、局所的バックグラウンド歪みや平均値のずれ歪みを検出する上でどの程度の性能を示すか？
• RQ4 相関関数の選択（例：ガウス型対対数型）が、エネルギー検定のさまざまな種類のデータ歪みに対する感度にどのように影響するか？
• RQ5 バイニングが不適切または誤解を招く場合に、特に多変量設定において、エネルギー検定は$χ^2$検定をどの程度上回るか？

主な発見

• エネルギー検定は、広範な徐々に変化する歪みに対して高いパワーを示し、単変量および多変量設定の両方で常に $χ^2$ 検定を上回る。
• 単変量データにおいて、三領域検定は局所的バックグラウンド歪みや平均値のずれ歪みを検出する上で優れた性能を示し、$χ^2$ を上回り、ネイマン検定やアンダーソン＝ダーリング検定と同等またはそれ以上のパワーを示す。
• 多変量応用において、ガウス型または対数型相関関数を用いたエネルギー検定は、二変量正規分布の代替仮説において、マルディア検定、ネイマンスムーズ検定、$χ^2$ 検定よりも高いパワーを達成する。
• エネルギー検定は次元数に頑健であり、バイニングを必要としないため、$χ^2$ がスパarsityとバイニングのアーチファクトのため機能しなくなる高次元データに適している。
• $χ^2$ 検定のパワーは、バイン数の増加に伴い、滑らかなずれの感度が低下するが、エネルギー検定は高い感度を維持する。
• エネルギー検定の性能は、相関関数の選択およびパrameter $ \kappa $ に敏感であり、長距離の歪みに対しては $ \kappa \approx 0.1 $、短距離のずれに対しては $ \kappa \approx 0.3 $ が最適である。