[논문 리뷰] Frequentist Hypothesis Testing with Background Uncertainty

K. Cranmer|arXiv (Cornell University)|2003. 10. 22.

Particle physics theoretical and experimental studies참고 문헌 5인용 수 15

한 줄 요약

이 논문은 배경 예측이 불확실할 때 고에너지 물리학에서 가역적 가설 검정을 위한 완전한 빈도주의 방법을 제시한다. 비율-포isson 평균 접근법보다 더 넓은 일반성과 Cousins-Highland 방법보다 더 나은 오류율 제어를 달성하는, 부수적 변수와 보조 측정값을 포함한 확장된 네이만 구성 방식을 사용한다. 이 방법은 조건부 최대화를 통한 우도 비율 순서 규칙을 도입하여, 프로파일 방법이 계산적 효율성을 확보하는 스케일러블한 근사치를 제공한다.

ABSTRACT

We consider the standard Neyman-Pearson hypothesis test of a signal-plus-background hypothesis and background-only hypothesis in the presence of uncertainty on the background-only prediction. Surprisingly, this problem has not been addressed in the recent conferences on statistical techniques in high-energy physics -- although the its confidence-interval equivalent has been. We discuss the issues of power, similar tests, coverage, and ordering rules. The method presented is compared to the Cousins-Highland technique, the ratio of Poisson means, and ``profile'' method.

연구 동기 및 목표

• 배경 예측이 불확실할 때 신호+배경 대 배경 전용 가설에 대한 빈도주의 가설 검정 방법의 부족을 해결하기 위해.
• 부수적 변수(배경 불확실성)의 모든 값에서 제1종 오류율이 유계임을 보장하여 빈도주의 커버리지 조건을 충족하기 위해.
• 부수적 변수가 존재하더라도 검정력과 유사성(일관된 최대검정력 유사 행동)을 유지할 수 있는 방법을 개발하기 위해.
• 제안된 방법을 Cousins-Highland, 포아송 평균 비율, 프로파일 우도와 같은 기존 기법들과 비교하기 위해.
• Cousins-Highland와 같은 하이브리드 베이지안-빈도주의 방법에 대한 철학적으로 타당하고 빈도주의 기준을 충족하는 대안을 제공하기 위해.

제안 방법

• 이 방법은 검정 통계량 $x$, 보조 측정값 $M$, 부수적 변수 $b$(배경 예측)의 연합 공간에서 네이만 구성 수행.
• 모든 $b$ 값에 대해, $H_0$ 하에서 크기가 $\alpha$인 이중 수용 영역 $W_b$를 구성하여 모든 $b$에서 제1종 오류율이 유계임을 보장.
• 수용 영역을 정의하기 위해 우도 비율 $L(x|H_1,b)/L(x|H_0,b)$ 기반의 순서 규칙 사용. 각 가설 하에서 부수적 변수를 조건부로 최대화.
• 부수적 변수 의존성에 대응하기 위해 순서 규칙을 수정함으로써 근사적 유사성 확보.
• 계산 효율성을 확보하기 위해 프로파일 방법을 사용. 이는 $b$의 최대우도 추정치인 $\hat{b}$에서만 검정을 구성한다.
• 격자 기반 구성 방식의 단점을 피하기 위해 차원의 극복 문제를 피할 수 있는 강건한 대안으로, 부수적 변수의 몬테카를로 샘플링을 제안.

실험 결과

연구 질문

• RQ1 배경 불확실성이 존재하는 경우, 부수적 변수의 모든 값에서 제1종 오류율이 적절히 제어되는 일관된 빈도주의 가설 검정을 어떻게 확장할 수 있는가?
• RQ2 부수적 변수 존재 시 검정력과 유사성을 유지하면서, 수용 영역을 정의하기 위한 최적의 순서 규칙은 무엇인가?
• RQ3 제안된 완전한 빈도주의 방법은 오류율 제어와 성능 면에서 Cousins-Highland 하이브리드 방법보다 어떻게 비교되는가?
• RQ4 프로파일 방법은 언제 전체 네이만 구성에 대해 신뢰할 수 있는 근사치를 제공하는가?
• RQ5 배경 불확실성이 존재하는 발견 검정에 대해, 포아송 평균 비율 기법은 일반화되거나 개선될 수 있는가?

주요 결과

• 제안된 방법은 배경 부수적 변수 $b$의 모든 값에서 제1종 오류율이 $\alpha$로 유계임을 보장하여 빈도주의 커버리지 조건을 충족한다.
• $H_0$가 참일 때(예: $b_t = 100$), Cousins-Highland 방법을 사용할 경우 $H_0$를 잘못 기각할 확률이 완전한 빈도주의 방법보다 약 95% 높다.
• $H_1$ 하에서, Cousins-Highland 방법이 성공할 경우, 완전한 빈도주의 방법은 $H_0$를 기각하지 못할 가능성이 50%에 이르며, 이는 하이브리드 방법의 검정력이 낮음을 시사한다.
• 예제에서 $x_0 = 167$, $M_0 = 100$일 때, $\hat{b} = 117$에서 구성한 프로파일 방법은 전체 구성과 동일한 결과를 산출한다.
• 이 방법은 포아송 분포를 따르는 보조 측정값에 국한되는 비율-포아송 평균 기법보다 더 넓은 일반성을 지닌다.
• 이 방법은 부수적 변수를 베이지안적 마진화에 기반하는 Cousins-Highland 접근법보다 빈도주의 추론 철학에 더 부합한다.