[논문 리뷰] A model independent safeguard for unbinned Likelihood

N. Priel, L. Rauch외 3명|arXiv (Cornell University)|2016. 10. 09.

Particle physics theoretical and experimental studies참고 문헌 19인용 수 8

한 줄 요약

이 논문은 고에너지 물리학 및 천체입자물리학에서 빈도수 없는 프로파일 우도비 검정에 대해 모형에 종속되지 않는 보호 조치를 제안한다. 이는 커널 밀도 추정(KDE) 기반의 페널티 항을 사용하여 배경 형상의 잘못된 모델링을 보정한다. 이 방법은 渐近적 성질을 복원하고, 잘못된 발견률을 감소시키며, 불확실성이 증가함에 따라 자연스럽게 감도가 떨어지되, 校정 데이터가 증가함에 따라 실제 모형 성능에 수렴한다.

ABSTRACT

We present a universal method to include residual un-modeled background shape uncertainties in likelihood based statistical tests for high energy physics and astroparticle physics. This approach provides a simple and natural protection against mismodeling, thus lowering the chances of a false discovery or of an over constrained confidence interval, and allows a natural transition to unbinned space. Unbinned likelihood allows optimal usage of information for the data and the models, and enhances the sensitivity. We show that the asymptotic behavior of the test statistic can be regained in cases where the model fails to describe the true background behavior, and present 1D and 2D case studies for model-driven and data-driven background models. The resulting penalty on sensitivities follows the actual discrepancy between the data and the models, and is asymptotically reduced to zero with increasing knowledge.

연구 동기 및 목표

• 고에너지 물리학 및 천체입자물리학에서 배경 모델링이 정확하지 않을 경우 발생하는 잘못된 발견 위험과 과도하게 제약된 신뢰구간 문제를 해결하기 위해.
• 배경 모델이 진짜 배경 형상을 포괄하지 못할 경우 프로파일 우도비 검정의 渐近적 성질을 복원하기 위해.
• 파라메트릭 및 비파라메트릭 배경 모델 모두에 적용 가능한 보편적이고 모형에 종속되지 않는 방법을 제공하여, 특히 보정 데이터가 적거나 신뢰할 수 없는 경우에도 유용하게 사용할 수 있도록 하기 위해.
• 진짜 배경에 대한 사전 지식 없이도 모형 불확실성을 자연스럽게 페널티 처리함으로써 빈도수 없는 우도 프레임워크에서 강인한 통계적 추론을 가능하게 하기 위해.

제안 방법

• 이 방법은 데이터와 배경 모델 간의 이질성에 기반한 페널티 항을 빈도수 없는 프로파일 우도비 검정에 도입한다. 이 이질성은 커널 밀도 추정(KDE)을 통해 추정된다.
• 이 방법은 두 단계 절차를 사용한다: 첫째, 보정 데이터로부터 비모수적 KDE를 구축하여 배경을 모델링하고, 둘째, KDE와 가정된 모델 간의 쿨백-라이블러 발산에 비례하는 페널티를 우도비에 보정한다.
• 보정은 수정된 검정 통계량을 통해 이루어지며, 이는 모델이 잘못 지정되어도 渐近적으로 기대되는 카이제곱 분포를 회복한다.
• 이 방법은 빈도수 없는 확장된 우도 함수를 사용하여 구현되며, 최적의 정보 사용과 감도 유지에 기여한다.
• 보정 표본 크기가 증가함에 따라 페널티 항은 동적으로 감소하여, 감도가 진짜 모형에 점차 수렴한다.
• 이 방법은 파라메트릭 및 비파라메트릭 배경 모델을 모두 사용한 1차원 및 2차원 사례에서 검증되었다.

실험 결과

연구 질문

• RQ1 배경 형상의 잘못된 모델링은 빈도수 없는 분석에서 프로파일 우도비 검정의 渐近적 행동에 어떤 영향을 미치는가?
• RQ2 모형에 종속되지 않는 보정 방법은 배경 모델이 정확하지 않을 경우 검정 통계량의 渐近적 성질을 복원할 수 있는가?
• RQ3 다양한 보정 표본 크기에서 이 방법은 잘못된 발견률과 발견 감도 측면에서 어떻게 성능을 발휘하는가?
• RQ4 다양한 차원 수가 다차원 배경 모델링에서 보정 효과에 어떤 영향을 미치는가?
• RQ5 이 방법은 진짜 배경 모델을 사용한 경우와 비교해 감도와 배제 한계 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 이 방법은 배경 모델이 진짜 배경 형상과 크게 다를 경우에도 프로파일 우도비 검정의 渐近적 분포를 성공적으로 복원한다.
• 1차원 사례에서는 작은 보정 표본이 있더라도 3σ에서 잘못된 발견률이 거의 0 수준으로 감소한다.
• 2차원에서 배경 100건에 신호 15건이 예상될 경우, 보정 표본 크기가 크면 진짜 모델과 유사한 발견 가능성을 유지하지만, 작은 표본에서는 자연스럽게 감도 손실이 발생한다.
• 페널티 항은 KDE 기반 모델과 진짜 배경 간의 이질성에 비례하므로, 감도 손실이 실제 불확실성에 반영된다.
• 보정 표본 크기가 증가함에 따라 보정된 방법의 감도는 점차 진짜 모형의 성능에 수렴하며, 수렴성과 강인성을 입증한다.
• 이 방법은 배경 모델이 잘 제약되지 않거나 데이터가 제한된 경우에 과도하게 확신하는 배제 한계와 잘못된 발견을 효과적으로 방지한다.