[論文レビュー] A new class of binning free, multivariate goodness-of-fit tests: the energy tests

B. Aslan, G. Zech|ArXiv.org|Mar 7, 2002

Advanced Statistical Methods and Models参考文献 6被引用数 11

ひとこと要約

本稿では、観測データ点とシミュレートされたデータ点間の対比較距離に、径方向関数で重み付けを行う、従来のビニングに依存しない多変量適合度検定であるエナジー検定を提案する。この検定は、特に多変量設定において、カイ二乗検定や他のノンパラメトリック検定よりも検出力が高く、任意のビニングを回避しながら分布の逸脱に対して高い感度を維持する。

ABSTRACT

We present a new class of multivariate binning-free and nonparametric goodness-of-fit tests. The test quantity \emph{energy} is a function of the distances of observed and simulated observations in the variate space. The simulation follows the probability distribution function $f_{0}$ of the null hypothesis. The distances are weighted with a weighting function which can be adjusted to the variations of $f_{0}$. We have investigated the power of the test for a uniform and a Gaussian distribution of one or two variates, respectively and compared it to that of conventional tests. The energy test with a Gaussian weighting function is closely related to the Pearson $χ^{2}$ test but is more powerful in most applications and avoids arbitrary bin boundaries. The test is especially powerful in the multivariate case.

研究の動機と目的

• 従来のカイ二乗検定や他のノンパラメトリック検定に見られるビニングや主観的な順序付けの問題を回避する、ビニングフリーの多変量適合度検定を開発すること。
• 局所的およびグローバル構造の両方の逸脱に感度を示す、ノンパラメトリックで分布フリーな検定を構築すること。
• モンテカルロシミュレーションによる基準サンプルと距離に基づく統計量を用いることで、既存の多変量検定に対する計算的に実行可能な代替手法を提供すること。
• 特に小標本および高次元設定において、カイ二乗検定やMardia検定といった従来の検定よりも高い統計的検出力を達成することを示すこと。

提案手法

• 検定統計量は、径方向で単調に減少する重み関数 R(|x−x′|) を用いた、経験的密度関数と帰無仮説の密度関数の二乗差の重み付き積分として定義される。
• エナジー検定統計量は、帰無仮説 f₀ からのシミュレートされた点とデータ点間の対比較距離を用い、M ≥ 10N 個のシミュレート点を用いたモンテカルロ近似により計算される。
• 三つの重み関数（べき乗則、対数、ガウス型）を評価し、ガウス型バージョンはビニングなしでカイ二乗検定に類似した性能を示す。
• 検定統計量は φ_NM = (1/N²)Σᵢ<ⱼ R(|xᵢ−xⱼ|) − (1/NM)Σᵢ,ⱼ R(|xᵢ−yⱼ|) として表現され、x は観測データ、y は f₀ からシミュレートされた点を表す。
• 帰無仮説 H₀ の下で期待される値よりも有意に小さい観測エナジー値が得られた場合、パーミュテーションまたはシミュレーションに基づくp値推定を用いて帰無仮説を棄却する。
• 交換可能性の下での期待値と比較することで、二つの標本が同一の分布から抽出されたかどうかを検定する応用が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ビニングに依存せず、次元の影響に強く、任意のビニングを回避できる多変量適合度検定を構築できるか？
• RQ2 一変量および二変量設定において、エナジー検定の検出力は、古典的なカイ二乗検定およびMardia検定といった現代のノンパラメトリック検定と比べてどの程度か？
• RQ3 ガウス型、対数型、べき乗則型などの重み関数のうち、どの関数が異なる種類の分布の逸れに最も感度を示すか？
• RQ4 既存の手法よりも、多変量データにおける局所的および長距離の歪みを効果的に検出できるか？
• RQ5 小標本サイズにおいて、従来の検定が失敗するような状況でも、エナジー検定は計算的に実行可能で信頼性があるか？

主な発見

• ガウス型重み関数を用いたエナジー検定は、ほぼすべてのテストされた一変量および二変量ケースでカイ二乗検定を上回る検出力を示し、特に小標本において顕著である。
• 対数型重み関数は、分布の長距離歪みに対して特に感度が高く、物理学分野のデータに一般的に見られるグローバルな逸れを検出するのに最適である。
• 二変量正規性検定において、エナジー検定は、標準的な多変量正規性検定であるMardia検定と同等の性能を示す。
• 小標本サイズにおいても高い検出力を維持し、このような状況下で検出力が低いビニングベースの手法に比べて優れている。
• 主観的な順序付けやビニングに依存しないため、このような選択が問題となる多変量設定において、頑健な代替手法である。
• 帰無仮説 f ≡ f₀ の下で検定統計量が最小化され、この性質は理論的考察と数値シミュレーションの両方で裏付けられている。