[논문 리뷰] A method for statistical comparison of histograms

Sergey Bityukov, Nikolai Krasnikov외 2명|arXiv (Cornell University)|2013. 02. 11.

Advanced Data Processing Techniques참고 문헌 3인용 수 5

한 줄 요약

이 논문은 정규화된 유의성과 이러한 유의성의 제곱근 평균제곱근(RMS)을 통계적 검정 통계량으로 사용하여, 각 항목별로 값의 이탈 유의성을 계산함으로써 히스토그램 간의 통계적 차이를 비교하는 통계적 방법을 제안한다. 이 방법은 총 이벤트 수가 다를 경우나 항목 간 분포가 다를 경우 기존 카이제곱 검정에 비해 더 뛰어난 분간 성능을 보이며, 두 히스토그램 간의 통계적 차이를 안정적으로 추정할 수 있다.

ABSTRACT

We propose an approach for testing the hypothesis that two realizations of the random variables in the form of histograms are taken from the same statistical population (i.e. that two histograms are drawn from the same distribution). The approach is based on the notion "significance of deviation". Our approach allows also to estimate the statistical difference between two histograms.

연구 동기 및 목표

• 두 히스토그램이 동일한 기초 분포에서 유래되었는지 테스트하기 위한 통계적 방법을 개발하는 것.
• 단순 적합도 검정을 넘어서 두 히스토그램 간의 통계적 차이를 추정하는 것.
• 총 이벤트 수가 다를 경우에도 더 민감하고 해석이 용이한 히스토그램 간 분간성 측정 방법을 제공하는 것, 특히 이러한 경우에 유의미한 성능을 발휘한다.
• 고에너지 물리 실험과 같은 실험 모니터링 응용 분야에서의 실용적 적용을 가능하게 하는 것.

제안 방법

• 두 히스토그램 항목 간의 이탈 유의성은 공식 $\hat{S}_i = \frac{\hat{n}_{i1} - \hat{n}_{i2}}{\sqrt{\hat{\sigma}^2_{n_{i1}} + \hat{\sigma}^2_{n_{i2}}}}$ 를 사용하여 계산되며, 여기서 $\hat{n}_{ik}$ 는 관측된 수치이고 분산은 $\hat{n}_{ik}$ 로 근사된다.
• 항목별 유의성의 제곱근 평균제곱근(RMS)은 히스토그램 간의 전반적 거리 측정치로 사용된다.
• 총 이벤트 수가 다른 경우, 정규화된 유의성 적용: $\hat{S}_i(K) = \frac{\hat{n}_{i1} - K\hat{n}_{i2}}{\sqrt{\hat{\sigma}^2_{n_{i1}} + K^2\hat{\sigma}^2_{n_{i2}}}}$, $K = N_1/N_2$.
• 귀무가설 하에서 정규화된 유의성의 분포는 표준 정규분포에 근접함을 보였다.
• 유의성 분포의 첫 번째 모멘트($\bar{S}$)와 두 번째 중심모멘트(RMS)를 사용하여 분간성을 평가한다.
• 정확한 결정 확률($1 - \kappa$)은 제1종 오류와 제2종 오류 비율에서 유도된 분간성 측정치로 사용된다.

실험 결과

연구 질문

• RQ1 두 히스토그램 항목 간의 이탈 유의성이 전체 히스토그램 비교를 위한 신뢰할 수 있는 검정 통계량으로 사용될 수 있는가?
• RQ2 두 히스토그램이 동일한 모집단에서 유래되었을 경우, 항목별 유의성 분포는 어떻게 행동하는가?
• RQ3 유의성의 RMS는 기존 카이제곱 검정에 비해 히스토그램 간 차이를 더 민감하게 측정하는가?
• RQ4 총 이벤트 수가 다를 경우 정규화가 이루어지면, 기반 유의성 기반 비교의 신뢰성과 해석 가능성은 어떻게 영향을 받는가?
• RQ5 \bar{S}와 RMS의 결합 분포는 단일 통계량 방법에 비해 히스토그램의 분간성 향상에 어느 정도 기여하는가?

주요 결과

• 히스토그램이 동일한 통계적 모집단에서 유래된 경우, 항목별 유의성 $\hat{S}_i$ 의 분포는 표준 정규분포에 매우 가까이 따른다.
• 유의성의 RMS 는 두 히스토그램 간 통계적 차이에 대한 견고한 전반적 측정치를 제공한다.
• 총 이벤트 수가 다른 히스토그램의 경우, 정규화된 유의성 $\hat{S}_i(K)$ 는 표준 정규분포에 가까운 분포를 보이며, 타당한 추론을 보장한다.
• \bar{S} 와 RMS 를 기반으로 한 방법은 히스토그램을 분간하는 데 93.88% 의 정확한 결정 확률을 달성하여, 카이제곱 방법(87.26%)을 능가한다.
• 이 방법은 총 이벤트 수가 다를 경우에도 히스토그램 형태의 미세한 이질성을 감지할 수 있어 실험 장비의 신뢰성 있는 모니터링을 가능하게 한다.
• 몬테카를로 시뮬레이션을 통한 가짜 모집단을 활용하면, 연구 중인 어떤 히스토그램 쌍에 대해서도 분간성을 추정할 수 있다.