[論文レビュー] Information Divergence is more chi squared distributed than the chi squared statistics

Peter Harremoës, Gábor Tusnády|arXiv (Cornell University)|Feb 6, 2012

Statistical Mechanics and Entropy被引用数 8

ひとこと要約

本稿では、情報発散度（G²）統計量が、特に自由度が低い状況において、従来のピアソンカイ二乗統計量よりもカイ二乗分布にさらに近い近似であることを示している。二項分布およびポアソン分布を正規分布に近づける新しい変換を用いて、著者らはG²が小標本においてもカイ二乗分布への分布近似が優れていることを示し、新しい変換枠組み下でポアソン分布に対して『交差性質』を証明した。

ABSTRACT

For testing goodness of fit it is very popular to use either the chi square statistic or G statistics (information divergence). Asymptotically both are chi square distributed so an obvious question is which of the two statistics that has a distribution that is closest to the chi square distribution. Surprisingly, when there is only one degree of freedom it seems like the distribution of information divergence is much better approximated by a chi square distribution than the chi square statistic. For random variables we introduce a new transformation that transform several important distributions into new random variables that are almost Gaussian. For the binomial distributions and the Poisson distributions we formulate a general conjecture about how close their transform are to the Gaussian. The conjecture is proved for Poisson distributions.

研究の動機と目的

• 適合度検定におけるG²（情報発散度）統計量とχ²（ピアソン）統計量が理論的カイ二乗分布にどれほど近いかを比較すること。
• 二項分布およびポアソン分布を正規分布にさらに近づける新しい変換を開発し、近似精度を向上させること。
• この変換枠組み下でポアソン分布に従う確率変数に対して『交差性質』を定式化し、それを証明すること。これは、尾部確率の tighter な境界を示している。
• 特に自由度が低い状況において、χ²統計量がカイ二乗分布によりよく近似されるという従来の仮定に疑問を呈すること。
• G²がχ²統計量よりも分布近似において優れているという理論的基盤を提供し、信頼区間や仮説検定の改善を図ること。

提案手法

• 著者らは、離散分布の累積分布関数を標準正規分布に写像する変換Gを導入し、変換後の分布がガウス分布にできるだけ近づくようにすることを目的としている。
• 『交差性質』を、離散確率変数の累積分布関数が、重要な分位点で標準正規分布関数と交差する条件として定義し、尾部確率のタイトな境界を保証する。
• ポアソン分布に対して、すべてのmについてP(M < m) ≤ P(Z ≤ G(m))およびP(M ≤ m) ≥ P(Z ≤ G(m))が成り立つことを確認することで、交差性質が成立することを証明した。
• 証明は、関数tG′(t)が増加することを示すことに依存しており、これは比φ(w)/f(w)が増加することを意味し、交差性質の確立に重要なステップである。
• 漸近的近似と数値的検証を用いて、交差性質が二項分布およびポアソン分布に成り立つという仮説を支持し、また独立なベルヌーイ試行の和に対しても成り立つ可能性があると示唆している。
• 本手法では、G²統計量とχ²統計量の理論的カイ二乗分布に対するQ-Qプロットを比較し、G²がχ²統計量よりもカイ二乗分布からずれが小さいことが明らかになった。特に、有意水準が低い場合に顕著である。

実験結果

リサーチクエスチョン

• RQ1 有限標本において、情報発散度（G²）統計量がピアソンχ²統計量よりもカイ二乗分布に近いかどうか。
• RQ2 二項分布およびポアソン分布を標準正規分布にさらに近づける変換を構築できるか。
• RQ3 離散分布のCDFが重要な点で標準正規CDFと交差する『交差性質』が、ポアソン分布に従う確率変数に対して成り立つかどうか。
• RQ4 特に帰無仮説が対立仮説に近い状況における有限標本設定下で、G²の漸近的効率性はχ²統計量と比べてどうか。
• RQ5 交差性質は2つのバイナリの箱を超えて一般化可能か、あるいは独立なベルヌーイ試行の和に対しても成り立つか。

主な発見

• G²統計量が、特に自由度が低く、標本サイズが小さい状況において、χ²統計量よりもカイ二乗分布に顕著に近いことが、Q-Qプロットによって確認された。
• n=51の対称的二項分布に対して、G²のQ-Qプロットは、各ステップが中点近くで恒等線とほぼ完全に一致しており、非常に良好な一致を示した。
• これに対して、χ²統計量は、有意水準が低い場合に理論的カイ二乗分布から系統的なずれを示しており、近似が劣っていることが明らかになった。
• 著者らは、任意のポアソン分布に従う確率変数に対して交差性質が成り立つことを証明し、従来の結果よりもタイトな尾部確率の境界を提供した。
• 変換Gにより、変換された確率変数の密度関数と標準正規密度関数の比が単調増加となることが保証され、これが改善された近似の根拠となった。
• 二項分布およびポアソン分布に対して、この増加性質が成り立つという仮説は、広範な数値的証拠によって支持されているが、一般には未解決のままである。