[論文レビュー] Evidence for Excessive Conservatism in LHC SUSY Searches

Benjamin Nachman, Tom Rudelius|arXiv (Cornell University)|Sep 16, 2012

Particle physics theoretical and experimental studies参考文献 8被引用数 1

ひとこと要約

この論文は、LHCのATLASおよびCMS共同研究が、2011年全データセットのp値分布を分析することで、超対称性（SUSY）探索において過剰な慎重さを示しているかどうかを調査している。p ≈ 0.005の中央的有意水準結果の統計的に有意な過剰が見つかり、不確実性が過大評価されている可能性を示唆しており、これが潜在的信号の解釈を過剰に慎重にしていると結論づけている。

ABSTRACT

The standard in the high energy physics community for claiming discovery of new physics is a $5\sigma$ excess in the observed signal over the estimated background. While a $3\sigma$ excess is not enough to claim discovery, it is certainly enough to pique the interest of both experimentalists and theorists. However, with a large number of searches performed by both the ATLAS and CMS collaborations at the LHC, one expects a nonzero number of multi-$\sigma$ results simply due to statistical fluctuations in the no-signal scenario. Our analysis examines the distribution of p-values for CMS and ATLAS supersymmetry (SUSY) searches using the full 2011 data set to determine if the collaborations are being overly conservative in their analyses. We find that there is a statistically significant excess of `medium' $\sigma$ values at the level of $p=0.005$, indicating over-conservativism in the estimation of uncertainties.

研究の動機と目的

• LHC共同研究（ATLASおよびCMS）が、統計的有意水準の分布を検討することで、SUSY探索において過剰に慎重であるかどうかを評価すること。
• 観測された中程度の有意水準結果（例：3–5σ）の数が、信号なし仮説のもとで予想される数を上回っているかどうかを特定すること。
• 高エネルギー物理学における発見宣言において、系統的不確実性の過大評価が、この慎重さの原因となっているかどうかを調査すること。

提案手法

• 本分析は、ATLASおよびCMSのSUSY探索における2011年全データセットを用い、すべての信号領域におけるp値を収集する。
• 観測されたp値の経験的分布を、信号なし（背景のみ）仮説のもとでの期待される一様分布と比較する。
• 一様性からのずれを検出するために統計的検定を適用し、特にp ≈ 0.005付近のp値の過剰に注目する。
• このような過剰が、背景推定における不確実性の系統的過大評価を示しているかどうかを評価する。
• 高エネルギー物理学で一般的な仮説検定フレームワークを用いて、観測されたずれの有意水準を定量化する。

実験結果

リサーチクエスチョン

• RQ1 ATLASおよびCMSのSUSY探索において、信号なし仮説と比較して、p ≈ 0.005の統計的に有意な過剰が見られるか？
• RQ2 観測されたp値分布は、背景推定における不確実性が系統的に過大評価されていることを示唆しているか？
• RQ3 観測された結果のパターンは、単なる統計的フラクチュエーションで説明可能か、それとも分析手法における系統的バイアスを示唆しているか？
• RQ4 これらの発見は、高エネルギー物理学における標準的5σ発見閾値にどの程度挑戦をもたらすか？

主な発見

• ATLASおよびCMSのSUSY探索におけるp値分布に、p ≈ 0.005付近に統計的に有意な過剰が認められ、中程度の有意水準結果の過剰が示されている。
• この過剰は、共同研究が不確実性の推定において過剰に慎重であることを示しており、信号の有意水準が低く評価されている可能性を示唆している。
• p値の一様分布からの観測されたずれは、信号なし仮説と整合せず、背景モデル化における系統的要因が存在することを示唆している。
• 研究結果は、一部の3–5σ結果が、真の統計的フラクチュエーションよりも不確実性の過大評価によるものである可能性を示している。