[論文レビュー] $R^*$: A robust MCMC convergence diagnostic with uncertainty using decision tree classifiers

Ben Lambert, Aki Vehtari|arXiv (Cornell University)|Mar 17, 2020

Markov Chains and Monte Carlo Methods参考文献 31被引用数 4

ひとこと要約

本稿では、勾配ブースティング回帰木およびランダムフォレストを含む機械学習分類器を用いて、事後分布からのサンプルからチェーンの識別を予測する能力によって、複数チェーン間の混合不良を検出する、新たなMCMC収束診断法$R^{*}$を提案する。$˂{R}$とは異なり、$R^{*}$は周辺分布に限定せず、結合分布全体を考慮し、不確実性推定を提供するため、特に高次元または複雑な事後分布幾何における収束のより強固で包括的な評価が可能になる。

ABSTRACT

Markov chain Monte Carlo (MCMC) has transformed Bayesian model inference over the past three decades: mainly because of this, Bayesian inference is now a workhorse of applied scientists. Under general conditions, MCMC sampling converges asymptotically to the posterior distribution, but this provides no guarantees about its performance in finite time. The predominant method for monitoring convergence is to run multiple chains and monitor individual chains' characteristics and compare these to the population as a whole: if within-chain and between-chain summaries are comparable, then this is taken to indicate that the chains have converged to a common stationary distribution. Here, we introduce a new method for diagnosing convergence based on how well a machine learning classifier model can successfully discriminate the individual chains. We call this convergence measure $R^*$. In contrast to the predominant $\widehat{R}$, $R^*$ is a single statistic across all parameters that indicates lack of mixing, although individual variables' importance for this metric can also be determined. Additionally, $R^*$ is not based on any single characteristic of the sampling distribution; instead it uses all the information in the chain, including that given by the joint sampling distribution, which is currently largely overlooked by existing approaches. We recommend calculating $R^*$ using two different machine learning classifiers - gradient-boosted regression trees and random forests - which each work well in models of different dimensions. Because each of these methods outputs a classification probability, as a byproduct, we obtain uncertainty in $R^*$. The method is straightforward to implement and could be a complementary additional check on MCMC convergence for applied analyses.

研究の動機と目的

• 既存のMCMC収束診断法の限界、特に周辺分布に焦点を当てており、結合分布の収束を検出できない点を是正すること。
• 分散やランクに基づく要約統計量に依存せず、MCMCチェーンに含まれるすべての情報を、特に結合サンプリングパターンを活用する収束指標の開発。
• 収束評価における不確実性を定量化する診断法を提供し、応用ベイズ解析におけるより信頼性の高い推論を可能にすること。
• 特に従来手法が失敗する可能性のある高次元モデルにおいて、$˂{R}$ や有効サンプルサイズ（ESS）といった既存診断法の補完的で厳密なチェックを提供すること。

提案手法

• 勾配ブースティング木やランダムフォレストなどのバイナリ分類器を訓練し、事後分布サンプルを入力特徴量として、与えられたMCMCサンプルがどのチェーン由来かを予測する。
• 分類器のOut-of-sample正答率を$R^{*}$統計量として使用する：高い正答率は混合不良（チェーンが識別可能）を示し、低い正答率は良好な混合（チェーンが識別不能）を示す。
• $R^{*}$を全チェーンにおける分類誤差の平均として計算する。0.5に近い値は良好な収束（ランダム推測）を示し、0.5より著しく低い値は混合不良を示す。
• 複数回の実行またはブートストラップリサンプリングを用いて、分類器の予測確率の分散を推定することで、$R^{*}$の不確実性を推定する。
• 分類器の感度を高めるために、$R^{*}$を計算する前に各チェーンを二つの部分に分割（チェーン分割）する。
• 反復ブロックのインジケータなどの追加共変量を組み込むことで、チェーン内の定常性の欠如やランダムウォーク的ダイナミクスを検出可能にする。

実験結果

リサーチクエスチョン

• RQ1 機械学習分類器は、事後分布サンプルに基づいてチェーンを識別できる能力を学習することで、MCMCチェーンの混合不良を効果的に検出できるか？
• RQ2 周辺分布が収束しているように見えるにもかかわらず、結合事後分布の収束問題を$R^{*}$はどのように検出できるか？
• RQ3 $R^{*}$は、特に高次元モデルにおいて、$˂{R}$ よりもより厳密で信頼性の高い収束診断を提供するか？
• RQ4 $R^{*}$は収束評価における不確実性を定量化できるか？その不確実性推定は、点推定に比べて解釈性をどのように向上させるか？
• RQ5 反復ブロックなどの補助特徴の組み込みは、$R^{*}$の性能と解釈性にどのような影響を与えるか？

主な発見

• 多数のテストケースにおいて、$R^{*}$は周辺分布の裾や結合分布においても収束不良を的確に診断したが、$˂{R}$は収束を示していた。
• 勾配ブースティング木やランダムフォレストをベース分類器として用いることで、数千パラメータを含む多様なモデルにおいても、一貫性があり頑健な$R^{*}$値が得られた。
• $R^{*}$を計算する前にチェーンを分割することで、チェーン内混合不良の検出感度が向上したため、これは標準的手順として採用すべきであると考えられる。
• 分類器の予測確率から得られる不確実性推定は、$R^{*}$の結果に対する信頼性の指標として意味のあるものであり、解釈性を向上させた。
• $˂{R}$より計算コストは高かったが、スプライシングされたサンプルや部分次元を用いることで$R^{*}$は実用的であり、従来の診断法が見逃した収束問題を検出できた。
• 複雑な事後分布幾何を持つモデルでは、$R^{*}$が$˂{R}$を上回り、特に結合分布における非混合の検出において非収束チェーンを効果的に特定した。