[論文レビュー] Tests of goodness of fit to multiple data sets

John C. Collins, Jon Pumplin|ArXiv.org|May 21, 2001

Advanced Statistical Methods and Models参考文献 6被引用数 13

ひとこと要約

この論文は、素粒子物理学におけるグローバルフィットの適合度基準を厳しく定義する。通常はパラメータ推定の誤差評価に用いられるパラメータフィッティング基準を、個々のデータサブセットに適用することで、標準的仮説検定では合格するが、より厳しいパラメータ感度チェックでは失敗するというパラドックスを解消する。この手法により、全体のカイ二乗値では見えにくくなる、特定の実験におけるシステムティックな問題（「バグ」）を検出可能となる。

ABSTRACT

We propose a new and rather stringent criterion for testing the goodness of fit between a theory and experiment. It is motivated by the paradox that the criterion on χ^2 for testing a theory is much weaker than the criterion for finding the best fit value of a parameter in the theory. We present a method by which the stronger parameter-fitting criterion can be applied to subsets of data in a global fit.

研究の動機と目的

• グローバルフィットが標準的仮説検定では合格するが、より厳しいパラメータフィッティング基準では失敗するというパラドックスに対処すること。
• グローバルフィットにおける個々の実験またはデータサブセットに、より厳しいパラメータフィッティング基準を適用する手法を開発すること。
• 全体のカイ二乗値では捉えられない、理論的欠陥や実験的異常といったシステムティック誤差または「バグ」の検出を向上させること。
• 理論が特定の実験を適切に記述していない場合に、それが全体のフィットが許容範囲内にあろうとも特定できるフレームワークを提供すること。
• 一様なカイ二乗偏差の一次元プロットを用いて、複数の実験におけるフィット品質の可視化と解釈を明確化すること。

提案手法

• パラメータフィッティング原理に基づく新しい基準を導入する：カイ二乗値の最小値からの1単位のずれは、パラメータ推定における1標準誤差に相当する。
• グローバルカイ二乗値に依存するのではなく、個々の実験やデータサブセットにこの基準を適用する。
• グローバル最小値の周囲でカイ二乗関数を二次近似し、個々の実験寄与のずれをモデル化する。
• ラグランジュ乗数法を用いて、単一実験のカイ二乗と総カイ二乗の間のパラメトリックな関係を定義する。
• カイ二乗偏差とパラメータ変動の一次元プロットを構築し、感度を可視化し、不一致を検出する。
• 実データにおける非ガウス型誤差尾部を、「標準的システムティック誤差推定で捉えられない予期しない誤差（バグ）」としてモデル化する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的仮説検定基準によるグローバルカイ二乗は、個々のデータサブセットにおける不良フィットを検出できないのか？
• RQ2 より厳しいパラメータフィッティング基準を、グローバルフィット内のデータサブセットの適合度評価にどのように適応できるか？
• RQ3 理論が複数のパラメータを持つ場合、単一実験のカイ二乗と総カイ二乗の関係は何か？
• RQ4 実験における非ガウス型誤差分布を、適合度評価の向上のためにどのようにモデル化できるか？
• RQ5 一次元カイ二乗偏差プロットを用いた可視化診断は、特定の実験データにおける不一致を効果的に明らかにできるか？

主な発見

• カイ二乗値の1単位の変化がパラメータ推定における1標準誤差に相当するというパラメータフィッティング基準は、仮説検定基準よりもはるかに厳しい。
• フィットがグローバルカイ二乗検定（$N \pm \sqrt{2N}$ の範囲内）に合格しても、パラメータフィッティング基準で評価すると、特定のデータサブセットに対して一貫性がない場合がある。
• この手法は、標準誤差モデルで捉えられない非ガウス型誤差尾部を引き起こす「バグ」（理論的欠陥や無視された実験的系誤差）を検出可能である。
• 2実験モデルでは、個別カイ二乗と総カイ二乗のずれの関係が放物線的になる。各ずれの最小値は、異なるパラメータ値で現れる。
• カイ二乗関数の二次近似により、サブセットと総カイ二乗の関係を解析的に取り扱えるようになり、ラグランジュ乗数を用いたパラメトリック解析が可能となる。
• パラメータ変動に対するカイ二乗偏差の一次元プロットは、全体のフィットが良好に見えても、理論によって適切に記述されていない実験を効果的に特定する。