[논문 리뷰] Convergence diagnostics for MCMC draws of a categorical variable

Benjamin Deonovic, Brian J. Smith|arXiv (Cornell University)|2017. 06. 15.

Machine Learning and Algorithms참고 문헌 12인용 수 7

한 줄 요약

이 논문은 범주형 변수의 마르코프 체인 몬테카를로(MCMC) 표본에 대해 종속된 데이터에 적합한 카이제곱 검정 통계량을 사용하여 두 가지 수렴 진단법을 제안한다. 이 방법들은 시뮬레이션을 통해 검증되었으며, 유한 혼합 모형에 대한 역행성 점프 MCMC에 적용되어, 기존의 진단법이 종속성과 이산성으로 인해 실패하는 이산 매개변수에 대해 효과적인 수렴 평가를 가능하게 한다.

ABSTRACT

Markov Chain Monte Carlo (MCMC) is a popular class of statistical methods for simulating autocorrelated draws from target distributions, including posterior distributions in Bayesian analysis. An important consideration in using simulated MCMC draws for inference is that the sampling algorithm has converged to the distribution of interest. Since the distribution is typically of a non-standard form, convergence cannot generally be proven and, instead, is assessed with convergence diagnostics. Although parameters used in the MCMC framework are typically continuous, there are many situations in which simulating a categorical variable is desired. Examples include indicators for model inclusion in Bayesian variable selection and latent categorical component variables in mixture modeling. Traditional convergence diagnostics are designed for continuous variables and may be inappropriate for categorical variables. In this paper two convergence diagnostic methods are considered which are appropriate for MCMC data. The diagnostics discussed in the paper utilize chi-squared test statistics for dependent data. Performance of the convergence diagnostics is evaluated under various simulations. Finally, the diagnostics are applied to a real data set where reversible jump MCMC is used to sample from a finite mixture model.

연구 동기 및 목표

• 베이지안 변수 선택 및 유한 혼합 모형에서 흔한 범주형 변수에 대한 효과적인 수렴 진단법 부족 문제를 해결하기 위해.
• 표준 독립 기반 검정(예: 피어슨의 카이제곱 검정)을 무효화하는 MCMC 출력의 종속성 구조를 고려한 진단법을 개발하기 위해.
• ANOVA 기반 진단법이 연속 매개변수 함수에 의존하는 것과는 달리, 이산 매개변수에 직접적인 수렴 평가를 제공하기 위해.
• 자기상관과 모형 유사성의 다양한 조건 하에서 시뮬레이션 연구를 통해 성능을 평가하기 위해.
• 실제 역행성 점프 MCMC 유한 혼합 모형에 적용 가능성을 입증하기 위해.

제안 방법

• 자기상관을 다루기 위해 MCMC 체인의 블록 방식을 사용하여 종속된 데이터에 적합한 카이제곱 통계량을 수정한다.
• 수렴 가정 하에 검정 통계량의 근본 분포를 추정하기 위해 부트스트랩 절차를 사용한다.
• 다변량 정규 근사가 수계수의 극한으로 성립한다고 가정할 때, 수렴의 근본가설 하에서 통계량의 渐近 근사식을 유도한다.
• 다중항 분포 수계수의 공분산 구조를 유도하기 위해 설계 행렬을 특이값 분해(SVD)로 분해한다.
• 수렴의 근본가설 하에서 기대 수계수에서의 표준화된 편차의 이차형식 기반 검정 통계량을 구성한다.
• 모의 데이터와 실제 역행성 점프 MCMC 유한 혼합 모형에 진단법을 적용하여 이산 성분 지표의 수렴을 평가한다.

실험 결과

연구 질문

• RQ1 카이제곱 기반 진단법을 종속된 MCMC 표본의 범주형 변수에 적응시킬 수 있는가?
• RQ2 자기상관과 모형 유사성의 다양한 수준에서 제안된 진단법의 성능은 어떠한가?
• RQ3 부트스트랩 및 渐近 버전의 진단법이 유사한 수렴 평가 결과를 도출하는가?
• RQ4 진단법은 역행성 점프 MCMC 유한 혼합 모형에서 수렴하지 않은 경우를 효과적으로 탐지할 수 있는가?
• RQ5 이산 매개변수에 적용했을 때 기존의 ANOVA 기반 방법과 비교해 진단법은 어떻게 성능을 보이는가?

주요 결과

• 부트스트랩 기반 진단법은 다양한 자기상관 수준과 세그먼트 길이에서 적절한 제1종 오류 비율을 유지하여 강건성을 입증한다.
• 표본 수와 범주 수가 중간 수준일 경우, 渐近 진단법은 제1종 오류 비율이 명목 수준에 가까워 잘 작동한다.
• 두 세그먼트가 서로 다른 모형에서 추출된 경우(즉, 유사도가 낮은 경우), 두 진단법 모두 수렴하지 않은 경우를 높은 검정력으로 탐지한다.
• 체인이 동일한 모형에서 유래된 경우, 고자기상관 조건 하에서도 수렴의 근본가설을 올바르게 기각하지 않는다.
• 부트스트랩 진단법은 계산 비용이 더 높지만 소표본에서 더 신뢰할 수 있으며, 渐近 버전은 빠르지만 대표본 근사에 의존한다.
• 실제 유한 혼합 모형에 대한 응용에서, 진단법은 충분한 버닝 인 기간 이후 수렴을 나타내어 성분 수에 대한 신뢰할 수 있는 추론을 뒷받침한다.