[論文レビュー] Should unfolded histograms be used to test hypotheses?

R. Cousins, S. May+1 more|arXiv (Cornell University)|Jul 24, 2016

Gaussian Processes and Bayesian Inference参考文献 4被引用数 6

ひとこと要約

この論文は、高エネルギー物理学における畳み込み済みの理論的予測とデータの直接比較（いわゆる「ボトムライン・テスト」と呼ばれるもの）と比較することで、高エネルギー物理学における畳みがきヒストグラムを用いた仮説検定が信頼できるかどうかを調査している。結果として、特に正則化を伴う場合には畳みがきが仮説検定の結果を歪めることを明らかにした。本研究は、モデル比較や適合度評価に畳みがき手法を用いる前に、常にボトムライン・テストを実施するよう提言している。

ABSTRACT

In many analyses in high energy physics, attempts are made to remove the effects of detector smearing in data by techniques referred to as "unfolding" histograms, thus obtaining estimates of the true values of histogram bin contents. Such unfolded histograms are then compared to theoretical predictions, either to judge the goodness of fit of a theory, or to compare the abilities of two or more theories to describe the data. When doing this, even informally, one is testing hypotheses. However, a more fundamentally sound way to test hypotheses is to smear the theoretical predictions by simulating detector response and then comparing to the data without unfolding; this is also frequently done in high energy physics, particularly in searches for new physics. One can thus ask: to what extent does hypothesis testing after unfolding data materially reproduce the results obtained from testing by smearing theoretical predictions? We argue that this "bottom-line-test" of unfolding methods should be studied more commonly, in addition to common practices of examining variance and bias of estimates of the true contents of histogram bins. We illustrate bottom-line-tests in a simple toy problem with two hypotheses.

研究の動機と目的

• 高エネルギー物理学における畳みがきヒストグラムを用いた仮説検定の妥当性を評価すること。
• 畳みがきデータに依存するモデル比較や適合度検定において、潜在的な歪みを同定すること。
• 畳みがき手法の妥当性を検証する基準としての『ボトムライン・テスト』（畳みがき済み理論的予測を直接観測データと比較する手法）の使用を促進すること。
• 畳みがきアルゴリズムにおける正則化が仮説検定の結果に与える歪みのリスクを強調すること。
• 将来の比較が可能となるよう、データと共に応答行列 $ R $ を報告するよう促すこと。

提案手法

• 真のヒストグラムのビン内訳 $ \vec{\mu} $ を観測済み（ゆがめられた）度数 $ \vec{n} $ に写像する応答行列 $ R $ を用いて畳みがき問題を定式化し、$ \vec{\nu} = R\vec{\mu} $ とする。
• 最尤法（ML）および反復的期待最大化（EM）畳みがきアルゴリズムを用いて、観測データ $ \vec{n} $ から $ \hat{\vec{\mu}} $ 及びその共分散 $ \hat{U} $ を推定する。
• 畳みがき空間における検定統計量（例：$ \chi^{2}_{\rm corr} $ および $ \Delta\chi^{2}_{\rm corr} $）を用いて仮説検定を実施し、ゆがめられた空間における尤度比 $ -2\ln\lambda_{0,1} $ と比較する。
• 理論的予測をシミュレートし、$ R $ を用いてゆがめる。その後、畳みがきを経由せずに観測データ $ \vec{n} $ と直接比較することでボトムライン・テストを実施する。
• ガウス型ゆがみ幅 $ \sigma $、真の分布における余分な項の振幅 $ B $、および総度数を変化させ、畳みがき結果の妥当性を評価する。
• 畳みがき空間における仮説検定の結果とゆがめられた空間における結果を比較し、不一致を検出することで、畳みがきの信頼性の欠如を特定する。

実験結果

リサーチクエスチョン

• RQ1 畳みがき空間における仮説検定は、ゆがめられた理論的予測を直接観測データと比較するテストと、本質的に同じ結果をもたらすか？
• RQ2 畳みがきアルゴリズム（例：EMおよびML）における正則化効果が、仮説検定結果の信頼性にどのように影響するか？
• RQ3 検出器のエネルギー分解能（例：$ \sigma $）や信号の振幅（$ B $）の変化が、畳みがき空間とボトムライン・テストの結果の一貫性にどの程度影響を及ぼすか？
• RQ4 畳みがき空間における一般化された $ \Delta\chi^{2}_{\rm corr} $ 統計量は、ゆがめられた空間におけるより強力な $ -2\ln\lambda_{0,1} $ 統計量と同等か？
• RQ5 どのような条件下で畳みがきがモデル比較や適合度検定において誤った結論を導くことになるか？

主な発見

• 正則化なしに行列の逆行列を用いた畳みがきでは、畳みがき空間における $ \Delta\chi^{2}_{\rm corr} $ 統計量は、ゆがめられた空間における $ \chi^{2}_{\rm N} $ 統計量と同一であり、これは尤度比 $ -2\ln\lambda_{0,1} $ よりも本質的に劣っていることが知られている。
• 反復的EMおよびML畳みがきでは、ボトムライン・テストにより、畳みがき空間とゆがめられた空間における仮説検定の間に系統的な不一致が確認され、畳みがきに基づく推論の信頼性に問題がある可能性が示された。
• 真の分布における余分な項の振幅 $ B $ は、特にEM畳みがきにおいて、畳みがき結果とボトムライン・テスト結果の一貫性に顕著な影響を与える。
• ヒストグラム内のイベント数が少ないほど、畳みがき仮説検定の信頼性が低下し、検定結果の不一致が顕著になる。
• EM畳みがきにおける反復回数はボトムライン・テストの結果に影響を及ぼし、収束の挙動が最終的な検定統計量の妥当性に影響を及ぼす。
• 本研究では、畳みがきアルゴリズムにおける正則化が引き起こすバイアスが、仮説検定結果を著しく歪める可能性があることを特定した。これは、モデル比較に畳みがきデータを用いる前に、さらに調査が必要な重要な問題である。