[논문 리뷰] Should unfolded histograms be used to test hypotheses?

R. Cousins, S. May외 1명|arXiv (Cornell University)|2016. 07. 24.

Gaussian Processes and Bayesian Inference참고 문헌 4인용 수 6

한 줄 요약

이 논문은 고에너지물리학에서 펼친 히스토그램을 사용한 가설 검정이 신뢰할 수 있는지 여부를, '바닥층 테스트'라 불리는, 난반된 이론적 예측을 데이터와 직접 비교함으로써 평가한다. 결과적으로, 특히 정규화가 적용될 경우 펼침이 가설 검정 결과를 왜곡할 수 있음을 발견하였으며, 모델 비교나 적합도 평가에 사용하기 전에 펼침 방법을 검증하기 위해 바닥층 테스트를 일반적으로 시행할 것을 권장한다.

ABSTRACT

In many analyses in high energy physics, attempts are made to remove the effects of detector smearing in data by techniques referred to as "unfolding" histograms, thus obtaining estimates of the true values of histogram bin contents. Such unfolded histograms are then compared to theoretical predictions, either to judge the goodness of fit of a theory, or to compare the abilities of two or more theories to describe the data. When doing this, even informally, one is testing hypotheses. However, a more fundamentally sound way to test hypotheses is to smear the theoretical predictions by simulating detector response and then comparing to the data without unfolding; this is also frequently done in high energy physics, particularly in searches for new physics. One can thus ask: to what extent does hypothesis testing after unfolding data materially reproduce the results obtained from testing by smearing theoretical predictions? We argue that this "bottom-line-test" of unfolding methods should be studied more commonly, in addition to common practices of examining variance and bias of estimates of the true contents of histogram bins. We illustrate bottom-line-tests in a simple toy problem with two hypotheses.

연구 동기 및 목표

• 고에너지물리학에서 펼친 히스토그램을 사용한 가설 검정의 타당성을 평가하기 위해.
• 펼침에 의존할 경우 모델 비교나 적합도 검정 결과에 왜곡이 발생할 수 있는지를 규명하기 위해.
• 펼침 방법을 검증하기 위한 홨이트스탠다드로 간주되는 '바닥층 테스트'—즉, 난반된 이론적 예측을 직접 데이터와 비교하는 방법—의 사용을 촉진하기 위해.
• 펼침 알고리즘에서 정규화가 초래하는 위험을 부각하여 가설 검정 결과를 오도할 수 있음을 밝히기 위해.
• 향후 접합(난반된) 공간에서의 비교를 가능하게 하기 위해 데이터와 함께 응답 행렬 $ R $ 을 보고할 것을 장려하기 위해.

제안 방법

• 진짜 히스토그램의 각 박스 내용 $ \vec{\mu} $ 를 관측된(난반된) 수치 $ \vec{n} $ 로 매핑하는 응답 행렬 $ R $ 을 사용하여 펼침 문제를 정의한다. 이때 $ \vec{\nu} = R\vec{\mu} $ 이다.
• 최대우도(ML) 및 반복 기대최대화(EM) 펼침 알고리즘을 사용하여 관측된 데이터 $ \vec{n} $ 에서 $ \hat{\vec{\mu}} $ 와 그 공분산 $ \hat{U} $ 를 추정한다.
• 펼침된 공간에서 $ \chi^{2}_{\rm corr} $ 와 $ \Delta\chi^{2}_{\rm corr} $ 와 같은 검정 통계량을 사용하여 가설 검정을 수행하고, 난반된 공간에서의 우도비 $ -2\ln\lambda_{0,1} $ 와 비교한다.
• 이론적 예측을 시뮬레이션하고, $ R $ 을 통해 난반시키며, 펼침 없이도 관측된 데이터 $ \vec{n} $ 와 직접 비교함으로써 바닥층 테스트를 수행한다.
• 가우스 난반 폭 $ \sigma $, 진짜 분포에 있는 추가 항의 진폭 $ B $, 총 사건 수와 같은 핵심 매개변수를 변화시켜 펼침 결과의 탄력성을 평가한다.
• 펼침된 공간에서의 가설 검정 결과와 난반된 공간에서의 결과를 비교하여, 신뢰할 수 없는 펼침을 시사하는 이질성을 탐지한다.

실험 결과

연구 질문

• RQ1 펼침된 공간에서의 가설 검정은 난반된 이론적 예측을 데이터와 직접 비교하는 것과 실질적으로 동일한 결과를 낳는가?
• RQ2 펼침 알고리즘(예: EM 및 ML)에서의 정규화 효과가 가설 검정 결과의 신뢰성에 어떤 영향을 미치는가?
• RQ3 검출기 해상도의 변화(예: $ \sigma $) 또는 신호 진폭($ B $) 변화가 펼침된 결과와 바닥층 테스트 결과 간의 일관성에 어느 정도 영향을 미치는가?
• RQ4 펼침된 공간에서의 일반화된 $ \Delta\chi^{2}_{\rm corr} $ 통계량은 난반된 공간에서 더 강력한 $ -2\ln\lambda_{0,1} $ 통계량과 동일한가?
• RQ5 어떤 조건에서 펼침이 모델 비교나 적합도 검정에서 오해의 소지를 낳는 결론을 이끌 수 있는가?

주요 결과

• 정규화 없이 행렬 역행렬을 통한 펼침은 펼침된 공간에서의 $ \Delta\chi^{2}_{\rm corr} $ 통계량이 난반된 공간에서의 $ \chi^{2}_{\rm N} $ 통계량과 정확히 일치하며, 이는 기존에 알려진 바와 같이 $ -2\ln\lambda_{0,1} $ 보다 본질적으로 劣한 것으로 알려져 있다.
• 반복적 EM 및 ML 펼침의 경우, 바닥층 테스트는 펼침된 공간과 난반된 공간에서의 가설 검정 간에 체계적인 이질성을 드러내어, 펼침 기반 추론의 잠재적 불신뢰성을 시사한다.
• 진짜 분포에 있는 추가 항의 진폭 $ B $ 는 특히 EM 펼침에서 펼침된 결과와 바닥층 테스트 결과 간의 일관성에 큰 영향을 미친다.
• 히스토그램의 사건 수는 펼침된 가설 검정의 신뢰성에 영향을 미치며, 낮은 통계량일수록 검정 결과의 이질성이 증폭된다.
• EM 펼침의 반복 횟수는 바닥층 테스트 결과에 영향을 미치며, 수렴 행동이 최종 검정 통계량의 타당성에 영향을 준다.
• 이 연구는 정규화로 인한 편향이 가설 검정 결과를 심각하게 왜곡할 수 있음을 규명하였으며, 이는 모델 비교에 펼침된 데이터를 신뢰하기 전에 추가적인 조사가 필요하다는 중요한 문제를 제기한다.