[論文レビュー] Convergence diagnostics for MCMC draws of a categorical variable

Benjamin Deonovic, Brian J. Smith|arXiv (Cornell University)|Jun 15, 2017

Machine Learning and Algorithms参考文献 12被引用数 7

ひとこと要約

本稿では、自己回帰的データに適応したカイ二乗検定統計量を用いて、カテゴリカル変数のMCMCサンプルの収束診断を2つ提案する。これらの手法はシミュレーションにより検証され、逆遷移MCMCを用いた有限混合モデルへの応用を通じて、従来の診断法が依存性と離散性のため失敗する離散パラメータにおける有効な収束評価を示している。

ABSTRACT

Markov Chain Monte Carlo (MCMC) is a popular class of statistical methods for simulating autocorrelated draws from target distributions, including posterior distributions in Bayesian analysis. An important consideration in using simulated MCMC draws for inference is that the sampling algorithm has converged to the distribution of interest. Since the distribution is typically of a non-standard form, convergence cannot generally be proven and, instead, is assessed with convergence diagnostics. Although parameters used in the MCMC framework are typically continuous, there are many situations in which simulating a categorical variable is desired. Examples include indicators for model inclusion in Bayesian variable selection and latent categorical component variables in mixture modeling. Traditional convergence diagnostics are designed for continuous variables and may be inappropriate for categorical variables. In this paper two convergence diagnostic methods are considered which are appropriate for MCMC data. The diagnostics discussed in the paper utilize chi-squared test statistics for dependent data. Performance of the convergence diagnostics is evaluated under various simulations. Finally, the diagnostics are applied to a real data set where reversible jump MCMC is used to sample from a finite mixture model.

研究の動機と目的

• MCMCにおけるカテゴリカル変数の有効な収束診断の欠如に取り組むこと。これはベイズ変数選択や有限混合モデルで一般的である。
• MCMC出力の依存構造を考慮した診断法を開発すること。これにより、ピアソンのカイ二乗検定のような独立性に基づく標準的手法が無効になる。
• 連続パラメータ関数に依存しない、離散パラメータの直接的な収束評価を提供すること。これは分散分析ベースの診断法が行うように。
• 自己相関とモデル類似度のさまざまな条件下での性能を、シミュレーションスタディを用いて評価すること。
• 実際の逆遷移MCMC有限混合モデルへの適用可能性を示すこと。

提案手法

• MCMCチェーンにおける自己相関を扱うために、ブロックごとのアプローチを用いて依存データに適応したカイ二乗検定統計量を適応する。
• 収束の仮定の下で、検定統計量の帰無分布を推定するためにブートストラップ手順を採用する。
• カウントの多変量正規極限を仮定し、収束の帰無仮説の下での検定統計量の漸近的近似を導出する。
• 設計行列の特異値分解（SVD）を用いて、複数チェーン間の多項分布カウントの共分散構造を導出する。
• 帰無仮説の下での期待度数からの標準化された偏差の2次形式に基づく検定統計量を構築する。
• シミュレートされたデータおよび実際の逆遷移MCMC有限混合モデルに診断法を適用し、離散的成分インジケータの収束を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己相関を有するMCMCサンプルのカテゴリカル変数に対して、カイ二乗ベースの診断法を適応可能か？
• RQ2 自己相関とモデル類似度のさまざまなレベル下で、提案手法の性能はいかがなっているか？
• RQ3 ブートストラップ版と漸近的版の診断法は、同等の収束評価結果をもたらすか？
• RQ4 逆遷移MCMC有限混合モデルにおいて、非収束を効果的に検出できるか？
• RQ5 離散パラメータに適用した場合、従来の分散分析ベースの手法と比較して診断法はどのように異なるか？

主な発見

• ブートストラップベースの診断法は、自己相関のさまざまなレベルとセグメント長さにおいて、適切な第一種の誤り率を維持しており、その頑健性が示された。
• 漸近的診断法は、チェーン数とカテゴリ数が中程度のとき、名目水準に近い第一種の誤り率を示し、良好な性能を発揮した。
• 2つのチェーンセグメントが異なるモデルから生成された場合（つまり類似度が低い場合）、両診断法とも非収束を検出する高いパワーを示した。
• 自己相関が高くても、チェーンが同じモデルから生成された場合には、診断法は帰無仮説（収束）を正しく失念しなかった。
• ブートストラップ診断法は計算コストが高かったが、小標本ではより信頼性が高かった。一方、漸近的バージョンは高速であったが、大標本近似に依存していた。
• 実データへの有限混合モデルへの応用において、十分なバーニング期間後、診断法は収束を示しており、成分数に関する信頼性の高い推論を支持した。