[논문 리뷰] Evidence for Excessive Conservatism in LHC SUSY Searches

Benjamin Nachman, Tom Rudelius|arXiv (Cornell University)|2012. 09. 16.

Particle physics theoretical and experimental studies참고 문헌 8인용 수 1

한 줄 요약

이 논문은 LHC의 ATLAS 및 CMS 협업이 초대칭(SUSY) 탐색에서 과도한 경계선을 보이는지 분석하기 위해 2011년 전체 데이터셋의 p-값 분포를 분석한다. 통계적으로 유의미한 중간 수준의 결과(예: p ≈ 0.005)가 과도하게 많다는 것을 발견하여, 불확실성이 과대평가되어 잠재적 신호의 해석이 과도하게 경계선이 되고 있음을 시사한다.

ABSTRACT

The standard in the high energy physics community for claiming discovery of new physics is a $5\sigma$ excess in the observed signal over the estimated background. While a $3\sigma$ excess is not enough to claim discovery, it is certainly enough to pique the interest of both experimentalists and theorists. However, with a large number of searches performed by both the ATLAS and CMS collaborations at the LHC, one expects a nonzero number of multi-$\sigma$ results simply due to statistical fluctuations in the no-signal scenario. Our analysis examines the distribution of p-values for CMS and ATLAS supersymmetry (SUSY) searches using the full 2011 data set to determine if the collaborations are being overly conservative in their analyses. We find that there is a statistically significant excess of `medium' $\sigma$ values at the level of $p=0.005$, indicating over-conservativism in the estimation of uncertainties.

연구 동기 및 목표

• LHC 협업(ATLAS 및 CMS)이 통계적 신뢰도 분포를 분석하여 SUSY 탐색에서 과도하게 경계선인지 평가하기.
• 관측된 중간 수준의 결과 수(예: 3–5σ)가 신호가 없는 가정 하에서 예상되는 수를 초과하는지 확인하기.
• 고에너지 물리학에서의 발견 주장에 있어 체계적 불확실성의 과대평가가 이 경계선성에 기여하는지 조사하기.

제안 방법

• ATLAS 및 CMS의 SUSY 탐색에서 2011년 전체 데이터셋을 사용하여 모든 신호 영역에서 p-값을 수집한다.
• 관측된 p-값 분포를 신호가 없는 배경 전용 가정 하에서 예상되는 균일 분포와 비교한다.
• 특히 p ≈ 0.005 근처의 p-값 초과를 중심으로 균일성에서의 이탈을 탐지하기 위해 통계적 검정을 적용한다.
• 이러한 초과가 배경 추정의 체계적 과대평가를 의미하는지 평가한다.
• 고에너지 물리학에서 일반적인 가설 검정 프레임워크를 사용하여 관측된 이질성의 유의미성을 정량화한다.

실험 결과

연구 질문

• RQ1 ATLAS 및 CMS의 SUSY 탐색에서, 신호가 없는 기대치에 비해 통계적으로 유의미한 중간 수준의 결과(예: p ≈ 0.005)가 과도하게 많나요?
• RQ2 관측된 p-값 분포는 배경 추정의 불확실성이 체계적으로 과대평가되었음을 시사합니까?
• RQ3 관측된 결과 패턴은 순수한 통계적 변동으로만 설명될 수 있을까요, 아니면 분석 관행에 체계적인 편향이 존재합니까?
• RQ4 이러한 발견은 고에너지 물리학에서 표준 5σ 발견 기준을 어느 정도 도전합니까?

주요 결과

• ATLAS 및 CMS의 SUSY 탐색에서 p-값 분포에 p ≈ 0.005 근처의 유의미한 초과가 있으며, 이는 중간 수준의 결과가 과다하게 나타남을 시사한다.
• 이 초과는 협업이 불확실성 추정에서 과도하게 경계선을 보이고 있으며, 이로 인해 신호의 유의미성이 과소평가되고 있음을 의미한다.
• 균일한 p-값 분포에서의 관측된 이질성은 신호가 없는 가정과 일치하지 않으며, 배경 모델링에 체계적 요인이 존재함을 암시한다.
• 이러한 발견은 일부 3–5σ 결과가 순수한 통계적 변동보다는 과대평가된 불확실성 때문일 가능성이 높다는 것을 시사한다.