[논문 리뷰] Skeptical combination of experimental results using JAGS/rjags with application to the K$^{\pm}$ mass determination

G. D’Agostini|arXiv (Cornell University)|2020. 01. 09.

Statistical Mechanics and Entropy참고 문헌 11인용 수 4

한 줄 요약

이 논문은 JAGS/rjags를 통한 베이지안 계층 모델링을 사용하여 충전된 카이온 질량 측정치 간의 명백한 모순을 다루기 위해 비신뢰적 조합을 제시한다. 폐쇄형 해법 대신 마르코프 체인 몬테 카를로(MCMC) 표본 추출을 사용함으로써 질량은 493.677 ± 0.013 MeV로 강력하고 확률적인 추정치를 제공하며, 이는 χ²/ν 스케일링 규칙을 순차적으로 적용함으로써 PDG의 평균화 절차에 이전에 인식되지 않았던 편향이 존재한다는 것을 드러낸다.

ABSTRACT

The question of how to combine experimental results that `appear' to be in mutual disagreement, treated in detail years ago in a previous paper, is revisited. The first novelty of the present note is the explicit use of graphical models, in order to make the deterministic and probabilistic links between the variables of interest more evident. Then, instead of aiming for results in closed formulae, the integrals of interest are evaluated by {\em Markov Chain Monte Carlo} (MCMC) sampling, with the algorithms (typically Gibbs Sampler) implemented in the package JAGS ("Just Another Gibbs Sampler"). For convenience, the JAGS functions are called from R scripts, thus gaining the advantage given by the rich collection of mathematical, statistical and graphical functions included in the R installation. The results of the previous paper are thus easily re-obtained and the method is applied to the determination of the charged kaon mass. This note, based on lectures to PhD students and young researchers has been written with a didactic touch, and the relevant JAGS/rjags code is provided. (A curious bias arising from the sequential application of the $\sqrt{χ^2/ν}$ scaling prescription to 'apparently' discrepant results, found here, will be discussed in more detail in a separate paper.)

연구 동기 및 목표

• 서로 모순되는 것으로 보이는 실험 결과를 통계적으로 엄밀하고 해석 가능한 방식으로 조합할 수 있는 방법을 개발하는 것, 특히 기존 평균화 방법이 오해의 소지가 있을 수 있는 경우를 대비하여.
• 그래픽 모델과 JAGS/rjags를 통한 MCMC 표본 추출을 사용하여 결과의 비신뢰적 조합을 시연함으로써 해석 가능성과 계산 접근성에 중점을 두는 것.
• 가우시안성과 폐쇄형 해법을 가정하지 않고, 베이지안 계층 모델을 사용하여 충전된 카이온 질량을 재평가하는 것.
• PDG의 평균화 절차에서 순차적으로 χ²/ν 스케일링 규칙을 적용함으로써 발생하는 이전에 인식되지 않았던 편향을 특정하고 정량화하는 것.
• 연구자들이 다른 실험적 모순에 이 방법을 적용할 수 있도록 지도적이고 재사용 가능한 JAGS/rjags 코드를 제공하는 것.

제안 방법

• 각 실험 결과를 평균 $ d_i $ 와 표준편차 $ s_i $ 를 가진 정규 확률밀도함수로 모델링하고, 진짜 질량 $ \mu $ 에 대한 계층적 사전분포를 설정한다.
• 정밀도 $ \tau_i = 1/\sigma_i^2 $ 에 대해 제퍼리스 사전분포를 사용하고, 모든 결과에 공통의 정밀도 $ \tau $ 를 할당하여 이질성 가능성을 허용한다.
• JAGS를 통한 MCMC를 사용하여 $ \mu $, $ \tau $, 개별 정밀도 파rameter $ \tau_i $ 의 공동 사후분포에서 표본을 추출한다.
• R의 rjags 패키지를 사용하여 R 환경에서 모델을 구현함으로써 R의 통계 및 시각화 기능과의 통합을 가능하게 한다.
• 파라미터의 사후분포를 몬테 카를로 표본 추출을 통해 평가하여 비모수적 근사와 비가우시안 특성을 유지함으로써 파라미터 근사에 의존하지 않는다.
• MCMC 체인의 추적도표, 자기상관도 및 상관행렬을 사용하여 모델 수렴도와 파라미터 간 상관관계를 평가한다.

실험 결과

연구 질문

• RQ1 서로 충돌하는 것으로 보이는 실험 결과를 통계적으로 엄밀하고 해석 가능한 방식으로 어떻게 조합할 수 있는가?
• RQ2 결과 조합 절차에서 여러 결과에 대해 χ²/ν 스케일링 규칙을 순차적으로 적용할 경우 어떤 결과가 발생하는가?
• RQ3 그래픽 모델과 MCMC 기반의 베이지안 모델링이 폐쇄형 가중 평균 대비 결과 조합의 투명성과 강건성에 기여할 수 있는가?
• RQ4 PDG의 충전된 카이온 질량에 대한 보고된 값이 평균화 방법론에 기인한 체계적 편향을 어느 정도 반영하고 있는가?
• RQ5 질량과 정밀도 파rameter의 사후분포는 비가우시안 특성과 모델 불확실성을 어떻게 드러내는가?

주요 결과

• 비신뢰적 조합 결과로 충전된 카이온 질량의 최종 추정치는 $ 493.677 \pm 0.013 $ MeV로, PDG의 보고된 값과 실질적으로 일치한다.
• 질량의 사후분포는 상당히 비가우시안이며, 낮은 쪽에 두꺼운 꼬리가 존재하여 높은 불확실성과 비대칭성을 나타낸다.
• 95% 신뢰구간은 $[493.650, 493.697]$ MeV이며, 50% 신뢰구간은 $[493.668, 493.687]$ MeV로 강한 왜곡이 나타난다.
• 이전에 인식되지 않았던 +13 keV의 편향이 PDG 결과에서 확인되었으며, 이는 이미 스케일링된 불확실성에 대해 $ \sqrt{\chi^2/\nu} $ 스케일링 규칙을 순차적으로 적용함으로써 발생한 것이다.
• MCMC 기반 분석 결과는 강건하고 재현 가능하며, 수렴도와 체인의 낮은 자기상관도를 명확히 보여주는 진단 결과를 제공한다.
• 질량 $ \mu $ 와 가장 이질적인 결과($ r_9 $)의 정밀도 간 사후상관관계는 -0.61로, 이 외곽치가 최종 추정치에 강한 영향을 미친다는 것을 나타낸다.