[論文レビュー] On hypothesis testing, trials factor, hypertests and the BumpHunter

G. Choudalakis|arXiv (Cornell University)|Jan 2, 2011

Particle physics theoretical and experimental studies参考文献 5被引用数 89

ひとこと要約

この論文は、高エネルギー物理学のデータにおける局所的過剰（「ボンプ」）を検出するモデルに依存しない仮説検定、BumpHunterを紹介している。この手法は、新たなフレームワーク「ハイパーテスト」を用いて「試行回数要因（trials factor）」を補正する。Banff Challenge Problem 1を用いた実験により、複雑なマルチスペクトル状況下でも、補正済みp値を用いて背景からの顕著な逸脱を効果的に同定できることを示している。

ABSTRACT

A detailed presentation of hypothesis testing is given. The "look elsewhere" effect is illustrated, and a treatment of the trials factor is proposed with the introduction of hypothesis hypertests. An example of such a hypertest is presented, named BumpHunter, which is used in the recent ATLAS dijet resonance search, and in an earlier version in the CDF Global Search, to look for exotic phenomena in high energy physics. As a demonstration, the BumpHunter is used to address Problem 1 of the Banff Challenge.

研究の動機と目的

• 高エネルギー物理学における「他の場所を覗き込む効果（look elsewhere effect）」という統計的課題に対処すること。これは、複数の探索領域を検討することで、偽陽性の確率が上昇するためである。
• 仮説検定における「試行回数要因」を形式化し、複数の検定を考慮するための一般化された手法「ハイパーテスト」を提案すること。
• BumpHunterを、特定の信号形状を仮定せずに、局所的な信号的特徴（ボンプ）を検出可能な実用的でモデルに依存しないハイパーテストとして提示すること。
• 実世界のベンチマークであるBanff ChallengeのProblem 1を用いて、この手法の妥当性と感度を検証すること。特に、隠れた信号の検出において、頑健性と感度を示すこと。

提案手法

• 標準的仮説検定の一般化として「ハイパーテスト」を提案。検定統計量は、すべての可能な探索領域（例：質量ウィンドウ）で計算され、p値は帰無仮説下での最大検定統計量の分布から導出される。
• BumpHunterの検定統計量を、スライディングウィンドウを用いたコルモゴロフ＝スミルノフに類似した検定のp値の負の対数として定義。これは、背景からの局所的逸脱を測定する。
• 帰無仮説下で生成された擬似実験を用いて、BumpHunter検定統計量の標本分布を推定し、正確なp値の計算を可能にする。
• すべての探索ウィンドウで観測された最大の有意水準を考慮することで「試行回数補正」を実施。これにより、第1種の過誤率が制御されたままである。
• 複数のスペクトルへの拡張として「mBH（multi-BumpHunter）」を導入。独立した分布において有意のボンプが同じ質量付近に見つかった場合にのみ、BumpHunter統計量を統合することで、共鳴信号に対する感度を向上させる。
• 上尾部の検出を目的としたTailHunterを導入。同様のハイパーテストフレームワークを用い、分布の上尾部に注目する。

実験結果

リサーチクエスチョン

• RQ1 複数の仮説検定が行われるため、偽発見のリスクが上昇する『試行回数要因』を、ボンプハンティングの文脈で厳密に補正する方法は何か？
• RQ2 多数の信号位置を探索する場合に、複数の検定を考慮する一般的で原理的整合性のある仮説検定の構築フレームワークは何か？
• RQ3 特定の信号形状や位置を仮定せず、モデルに依存しない検定が、統計的妥当性を保ちつつ局所的過剰を検出可能か？
• RQ4 Banff Challengeのような複雑な現実世界のデータにおいて、BumpHunterは微細な局所的信号を効果的に検出できるか？
• RQ5 ハイパーテストフレームワークを複数の独立したスペクトルからの証拠を統合する形で拡張可能か？これにより共鳴信号に対する感度が向上するか？

主な発見

• Banff Challenge Problem 1において、BumpHunterはp値が0.01未満の顕著な局所的過剰を検出。帰無仮説の下での強い反証となる。
• 試行回数要因を正しく補正しており、多数の探索ウィンドウをスキャンしても、報告されたp値が真の第1種の過誤率を反映していることが保証されている。
• 0から1の範囲に一様に分布する40個のイベントを含むシミュレート信号状況では、BumpHunterは検定統計量17.8を達成。帰無仮説下の690個の擬似実験で観察された値よりも著しく高い。
• TailHunterの変種は、別個の例で高x尾部を効果的に検出。検定統計量17.8を示し、p値は0.01未満、信頼度は0.999を超える。
• mBH拡張は、信号が複数のスペクトルで同時に現れる場合に感度を顕著に向上させる。これは、ボンプが空間的に一致する場合にのみ、有意水準を統合するためである。
• ハイパーテストフレームワークは、試行回数要因の問題に対する柔軟で汎用的な解決策を提供する。BumpHunterとTailHunterは、高エネルギー物理学分野で再利用可能な具体的な実装例である。