[논문 리뷰] Graphical Test for Discrete Uniformity and its Applications in Goodness of Fit Evaluation and Multiple Sample Comparison

Teemu Säilynoja, Paul‐Christian Bürkner외 1명|arXiv (Cornell University)|2021. 03. 18.

Statistical Methods and Bayesian Inference참고 문헌 7인용 수 6

한 줄 요약

이 논문은 확률 분포 변환(PIT) 값의 경험적 누적분포함수(ECDF)에 대한 동시에 신뢰구간을 사용하는 이산 균일성에 대한 새로운 그래픽 테스트를 제안한다. 시뮬레이션과 최적화 기반 방법을 융합함으로써, 강건한 적합도 평가와 다중 샘플 비교를 가능하게 하여, 특히 MCMC 수렴 진단과 시뮬레이션 기반 校正에 유용하다. 이는 단일 진단 통계량을 넘어서 분포의 이질성에 대한 시각적 및 정량적 통찰을 제공한다.

ABSTRACT

Assessing goodness of fit to a given distribution plays an important role in computational statistics. The Probability integral transformation (PIT) can be used to convert the question of whether a given sample originates from a reference distribution into a problem of testing for uniformity. We present new simulation and optimization based methods to obtain simultaneous confidence bands for the whole empirical cumulative distribution function (ECDF) of the PIT values under the assumption of uniformity. Simultaneous confidence bands correspond to such confidence intervals at each point that jointly satisfy a desired coverage. These methods can also be applied in cases where the reference distribution is represented only by a finite sample. The confidence bands provide an intuitive ECDF-based graphical test for uniformity, which also provides useful information on the quality of the discrepancy. We further extend the simulation and optimization methods to determine simultaneous confidence bands for testing whether multiple samples come from the same underlying distribution. This multiple sample comparison test is especially useful in Markov chain Monte Carlo convergence diagnostics. We provide numerical experiments to assess the properties of the tests using both simulated and real world data and give recommendations on their practical application in computational statistics workflows.

연구 동기 및 목표

• 분포의 이질성에 대한 시각적 및 통계적 통찰을 제공하는, ECDF 기반의 이산 균일성 테스트를 개발하는 것.
• 기준 분포가 유한한 표본을 통해만 알려져 있는 경우에도 균일성 테스트를 확장하여 시뮬레이션 기반 校정을 가능하게 하는 것.
• 균일성 하에서 PIT 값의 ECDF에 대한 동시에 신뢰구간을 제공함으로써, 점별 신뢰구간보다 향상된 결과를 얻는 것.
• 다중 샘플 비교로의 방법 확장을 통해, 다중 체인 MCMC 워크플로우의 진단을 지원하는 것.
• 베이지안 통계 워크플로우에서 모델 적합도와 샘플링 효율성을 평가하기 위한 실용적이고 계산 효율적인 도구를 제공하는 것.

제안 방법

• 적합도 테스트를 균일성 테스트로 전환하기 위해 확률분포변환(PIT)을 사용하는 것.
• 귀무가설 하에서 이산 PIT 값의 ECDF에 대한 동시에 신뢰구간을 계산하기 위해 시뮬레이션 기반 방법을 적용하는 것.
• 큰 표본에 대해 날카롭고 효율적인 신뢰구간을 계산하기 위해 최적화 기반 조정을 적용하는 것.
• 체인 또는 그룹 간의 공동 신뢰구간을 구성하여 다중 샘플로의 프레임워크를 확장하는 것.
• 사전에 계산된 조정 매개변수의 로그-로그 보간을 사용하여 다양한 표본 크기에 대응하는 계산을 가속화하는 것.
• 모의 및 실제 데이터에 모두 적용하여 계층 모델과 MCMC 수렴 진단에 활용하는 것.

실험 결과

연구 질문

• RQ1 이산 균일성 하에서 PIT 값의 ECDF에 대한 동시에 신뢰구간을 효율적으로 계산하는 방법은 무엇인가?
• RQ2 제안된 그래픽 테스트는 분포의 이탈을 탐지하는 데 있어 점별 신뢰구간에 비해 어떤 방식으로 향상되는가?
• RQ3 이 방법은 다중 체인 MCMC 진단과 같이 다수의 샘플을 비교하는 데 어떻게 적응될 수 있는가?
• RQ4 이 방법은 계층 모델에서 샘플링 비효율성을 탐지하는 데 어떻게 성능을 발휘하는가?
• RQ5 이 방법은 $τ$-hat와 같은 기존 진단 도구와 비교하여 수렴 문제를 식별하는 데 어떻게 다를까?

주요 결과

• 최적화 기반 방법은 큰 표본에 대해 효율적이고 정확한 동시에 신뢰구간을 제공하며, 속도 면에서 시뮬레이션 기반 대안보다 뛰어나다.
• 다중 샘플 비교의 경우, 특히 체인 수가 중간 정도일 때 시뮬레이션 기반 방법이 더 계산 효율적이다.
• 8개 학교 모델에서 그래픽 테스트는 $τ$-hat만으로는 탐지하지 못한 중심화된 매개변수화에서의 샘플링 문제를 발견하여, 체인 3에서 나쁜 믹싱을 드러냈다.
• 비중앙화 형태로 재매개변수화한 후, ECDF 차이 플롯과 랭크 플롯에서 모든 체인이 95% 동시에 신뢰구간 내에 존재하는 것으로 나타나 믹싱 향상가능성을 확인했다.
• 비중앙화 모델에서 전체-ESS와 꼬리-ESS는 각각 2200과 1600으로 향상되었으며, 이는 그래픽 진단 결과와 일치했다.
• 이 방법은 유한 표본 예측 분포 하에서 LOO-PIT 값이 정확히 균일하지 않음을 성공적으로 식별하여, LOO-PIT가 유한 데이터에선 제한이 있음을 드러냈다.