[논문 리뷰] $R^*$: A robust MCMC convergence diagnostic with uncertainty using decision tree classifiers

Ben Lambert, Aki Vehtari|arXiv (Cornell University)|2020. 03. 17.

Markov Chains and Monte Carlo Methods참고 문헌 31인용 수 4

한 줄 요약

이 논문은 기계학습 분류기—특히 기울기 부스팅 회귀 트리와 랜덤 포레스트를 사용하여, 사후 표본으로부터 체인 정체성을 예측할 수 있는 정도를 측정함으로써 체인 간 혼합 부족을 탐지하는 새로운 MCMC 수렴 진단법인 $R^{*}$을 소개한다. 전통적인 $˂{R}$와 달리, $R^{*}$는 전체 결합분포를 활용하고 불확실성 추정을 제공하므로, 고차원적이거나 복잡한 사후 기하학에서 더 견고하고 종합적인 수렴 평가가 가능하다.

ABSTRACT

Markov chain Monte Carlo (MCMC) has transformed Bayesian model inference over the past three decades: mainly because of this, Bayesian inference is now a workhorse of applied scientists. Under general conditions, MCMC sampling converges asymptotically to the posterior distribution, but this provides no guarantees about its performance in finite time. The predominant method for monitoring convergence is to run multiple chains and monitor individual chains' characteristics and compare these to the population as a whole: if within-chain and between-chain summaries are comparable, then this is taken to indicate that the chains have converged to a common stationary distribution. Here, we introduce a new method for diagnosing convergence based on how well a machine learning classifier model can successfully discriminate the individual chains. We call this convergence measure $R^*$. In contrast to the predominant $\widehat{R}$, $R^*$ is a single statistic across all parameters that indicates lack of mixing, although individual variables' importance for this metric can also be determined. Additionally, $R^*$ is not based on any single characteristic of the sampling distribution; instead it uses all the information in the chain, including that given by the joint sampling distribution, which is currently largely overlooked by existing approaches. We recommend calculating $R^*$ using two different machine learning classifiers - gradient-boosted regression trees and random forests - which each work well in models of different dimensions. Because each of these methods outputs a classification probability, as a byproduct, we obtain uncertainty in $R^*$. The method is straightforward to implement and could be a complementary additional check on MCMC convergence for applied analyses.

연구 동기 및 목표

• 기존 MCMC 수렴 진단법의 한계를 해결하기 위해, 특히 근사분포에 집중하고 결합분포 수렴을 탐지하지 못하는 문제를 해결하고자 한다.
• 모수의 분산이나 순위 기반 측정치와 같은 요약 통계량에 의존하지 않고, MCMC 체인에 포함된 전체 정보—특히 결합 샘플링 패턴—을 활용하는 수렴 지표를 개발하고자 한다.
• 수렴 평가의 불확실성을 정량화하는 진단법을 제공하여, 적용된 베이지안 분석에서 더 신뢰할 수 있는 추론을 가능하게 하고자 한다.
• 기존의 $˂{R}$ 및 효과적 샘플 크기(ESS)와 같은 진단법과 보완적으로 작동하며, 특히 전통적 방법이 실패할 수 있는 고차원 모델에서 더 엄격하고 신뢰할 수 있는 진단을 제공하고자 한다.

제안 방법

• 기본 분류기(예: 기울기 부스팅 트리 또는 랜덤 포레스트)를 훈련하여, 주어진 MCMC 샘플이 어느 체인에서 유래되었는지 예측한다. 사후 표본을 입력 특성으로 사용한다.
• 분류기의 검증 외 성능을 $R^{*}$ 통계량으로 사용한다: 높은 정확도는 체인 간 혼합 부족을 의미하며, 낮은 정확도는 양호한 혼합을 의미한다.
• $R^{*}$는 모든 체인에 대해 평균 분류 오차로 계산되며, 0.5에 가까운 값은 양호한 수렴(무작위 추측 수준)을 의미하고, 0.5보다 현저히 낮은 값은 열악한 혼합을 의미한다.
• 분류기의 예측 확률의 분산을 다중 실행 또는 부트스트랩 샘플링을 통해 이용해 $R^{*}$의 불확실성 추정을 수행한다.
• 체인의 내부 혼합 문제에 더 민감하게 하기 위해 $R^{*}$ 계산 전에 각 체인을 두 부분으로 나누는 체인 분할 기법을 적용한다.
• 반복 블록 지표와 같은 추가 공변량을 포함하여 체인의 비정상적 행동이나 랜덤 워크 유사 동역학을 탐지한다.

실험 결과

연구 질문

• RQ1 기계학습 분류기가 사후 표본을 기반으로 체인을 구별하는 능력을 통해 MCMC 체인의 혼합 부족을 효과적으로 탐지할 수 있는가?
• RQ2 모수의 근사분포는 수렴한 것처럼 보일 때도 $R^{*}$는 결합 사후분포의 수렴 문제를 어떻게 탐지하는가?
• RQ3 $R^{*}$는 고차원 모델에서 기존 방법보다 더 엄격하고 신뢰할 수 있는 수렴 진단을 제공하는가, 특히 $˂{R}$과 비교하여?
• RQ4 $R^{*}$는 수렴 평가의 불확실성을 정량화할 수 있으며, 이는 점 추정치에 비해 해석 가능성에 어떻게 기여하는가?
• RQ5 반복 블록과 같은 보조 특성의 포함이 $R^{*}$의 성능과 해석에 어떤 영향을 미치는가?

주요 결과

• 다양한 시험 케이스에서 $R^{*}$는 $˂{R}$이 수렴을 나타내는 동안도 근사분포의 꼬리 부분과 결합분포에서의 수렴 실패를 성공적으로 진단했다.
• 기울기 부스팅 트리와 랜덤 포레스트를 기본 분류기로 사용함으로써, 고차원 모델(수천 개의 모수 포함)을 포함한 다양한 모델에서 일관되고 강력한 $R^{*}$ 값을 도출했다.
• 체인을 분할한 후 $R^{*}$를 계산함으로써 내부 혼합 부족을 더 잘 탐지할 수 있었으며, 이는 표준 절차로 삼아야 할 만한 성능 향상임을 시사한다.
• 분류기의 예측 확률에서 유도된 불확실성 추정치는 $R^{*}$ 결과에 대한 신뢰도를 의미 있는 방식으로 제공하여 해석 가능성을 향상시켰다.
• 비록 $˂{R}$보다 계산 비용이 더 높지만, 희소화된 샘플이나 부분 차원을 사용할 경우 $R^{*}$는 여전히 실행 가능했으며, 기존 진단법이 놓친 수렴 문제를 탐지했다.
• 복잡한 사후 기하학을 가진 모델에서는 $R^{*}$가 $˂{R}$보다 비수렴 체인을 더 잘 식별했으며, 특히 결합분포에서의 혼합 부족을 탐지하는 데 뛰어난 성능을 보였다.