[논문 리뷰] Coverage Of Confidence Intervals For Poisson Statistics In Presence Of Systematic Uncertainties

Jan Conrad, O. Botner외 2명|ArXiv.org|2002. 06. 14.

Scientific Measurement and Uncertainty Evaluation인용 수 6

한 줄 요약

이 논문은 체계적 불확실성이 존재할 때 포아송 분포 자료에 대한 신뢰구간의 커버리지 성질을 조사하며, Cousins & Highland 방법을 다양한 불확실성 유형과 형태로 확장한다. Feldman & Cousins 구간은 포아송 이산성으로 인해 과도하게 커버리지되며, Roe & Woodroofe 구간은 낮은 신호 기대값에서 과소 커버리지된다. 체계적 불확실성은 일반적으로 과도한 커버리지를 증가시키며, 특히 정규분포 및 로그정규분포에서 두드러진다. 커버리지 성질은 테스트에 사용된 앙상블 정의에 따라 결정적으로 영향을 받는다.

ABSTRACT

In this note we consider coverage of confidence intervals calculated with and without systematic uncertainties. These calculations follow the prescription originally proposed by Cousins & Highland but here extended to account for different shapes, size and types of systematic uncertainties. Also two different ordering schemes are considered: the Feldman & Cousins ordering and its variant where conditioning on the background expectation is applied as proposed by Roe & Woodroofe. Without uncertainties Feldman & Cousins method over-covers as expected because of the discreteness of the Poisson distribution. For Roe & Woodroofe's method we find under-coverage for low signal expectations. When including uncertainties it becomes important to define the ensemble for which the coverage is determined. We consider two different ensembles, where in ensemble A all nuisance parameters are fixed and in ensemble B the nuisance parameters are varied according to their uncertainties. We also discuss the subtleties of the realization of the ensemble with varying systematic uncertainties.

연구 동기 및 목표

• 고에너지 물리 실험에서 흔히 발생하는 체계적 불확실성이 존재할 때 포아송 분포 자료에 대한 신뢰구간의 커버리지 성질을 평가하는 것.
• Cousins & Highland의 빈도주의 방법을 확장하여 상관관계를 포함한 다양한 형태, 크기, 유형의 체계적 불확실성을 고려하는 것.
• 체계적 불확실성이 다양한 조건에서 적용될 때, Feldman & Cousins 및 Roe & Woodroofe 두 가지 순서 정책의 성능을 비교하는 것.
• 앙상블 정의(동일한 실험 vs. 다양한 부수적 매개변수를 가진 유사한 실험)가 커버리지 성질에 미치는 영향을 조사하는 것.
• 부수적 매개변수(예: 신호 효율성)를 각 실험에서 확률적으로 변동시키는 몬테카를로 앙상블을 구현하는 데서 발생하는 미묘한 점들을 명확히 하는 것.

제안 방법

• 체계적 불확실성의 신호 및 배경 효율성, 배경 수준을 기술하는 확률밀도함수(PDF)를 통합하여 Cousins & Highland 방법을 확장한다.
• POLE 프로그램을 통한 몬테카를로 적분을 사용하여, 정규분포, 균일분포, 로그정규분포를 포함한 다양한 불확실성에 대한 신뢰대를 계산한다.
• 두 가지 순서 정책을 적용: Feldman & Cousins(FC) 및 Roe & Woodroofe(RW), 배경 기대값에 대한 조건부 적용 여부를 포함한다.
• 두 가지 앙상셀을 사용하여 커버리지 계산을 수행: (A) 고정된 부수적 매개변수(동일한 실험), (B) 부수적 매개변수를 그 불확실성 분포에서 추출한 유사한 실험.
• 앙상셀 (B)를 몬테카를로 시행 각각에서 진짜 신호 효율을 무작위로 샘플링하여 실현하며, 신뢰구간 구성과 커버리지 테스트 간의 일관성을 확보한다.
• 커버리지의 정도를 다수의 신호 기대값과 불확실성 가정 조건에서, 진짜 신호 값이 계산된 신뢰구간 내에 포함된 시행 비율로 정량화한다.

실험 결과

연구 질문

• RQ1 체계적 불확실성이 포함될 경우 포아송 분포 자료에 대한 신뢰구간의 커버리지에 어떤 영향을 미치는가?
• RQ2 체계적 불확실성이 도입되었을 때, Feldman & Cousins 및 Roe & Woodroofe 순서 정책의 커버리지 성능은 어떻게 되는가?
• RQ3 불확실성 분포의 형태와 유형(Gaussian, flat, log-normal)이 결과적인 커버리지에 영향을 미치는가?
• RQ4 앙상셀 정의의 선택—동일한 실험(고정된 부수적 매개변수) 대비 유사한 실험(변동하는 부수적 매개변수)—이 커버리지 결과에 어떤 영향을 미치는가?
• RQ5 부수적 매개변수가 확률적으로 변동하는 앙상셀을 포함할 경우, Cousins & Highland 방법은 빈도주의 통계와 일관성이 있는가?

주요 결과

• Feldman & Cousins 방법은 체계적 불확실성이 없더라도 포아송 분포의 이산성으로 인해 과도하게 커버리지된다.
• Roe & Woodroofe 방법은 체계적 불확실성이 없더라도 낮은 신호 기대값에서 과소 커버리지된다.
• 체계적 불확실성은 과도한 커버리지를 증가시키며, 특히 정규분포 및 로그정규분포에서 가장 두드러진다.
• 같은 불확실성 크기(예: 40%의 신호 효율 불확실성)일 경우, 90% 신뢰수준에서 커버리지가 약 92%에서 약 94%로 증가하여 약간의 추가 과도 커버리지가 발생한다.
• 실제 반복 실험과 유사하게 진짜 신호 효율이 앙상셀 내에서 확률적으로 변동하는 경우, Cousins & Highland 방법은 추가적인 편향 없이 정확한 커버리지를 유지한다.
• 커버리지 결과는 앙상셀 정의에 의해 결정적으로 영향을 받는다: 고정된 매개변수 앙상셀(A)을 사용할 경우와 변동하는 매개변수 앙상셀(B)을 사용할 경우의 커버리지 행동이 다르며, 후자는 실제 실험과 더 유사하다.