[論文レビュー] Asymptotically Stable Drift and Minorization for Markov Chains with Application to Albert and Chib's Algorithm

Qian Qin, James P. Hobert|arXiv (Cornell University)|Dec 24, 2017

Bayesian Methods and Mixture Models参考文献 30被引用数 3

ひとこと要約

本稿は、高次元ベイズ問題におけるマルコフ連鎖モンテカルロ（MCMC）収束解析のための洗練されたドリフトおよびマイノリゼーション条件を提案する。特に、プロビットモデルに対するアービュットとチブのアルゴリズムに焦点を当てる。ドリフト関数を中央化し、マイノリゼーションにおける高次元性を抑えることで、サンプルサイズ $n \to \infty$ および予測変数の数 $p \to \infty$ の両方の下で、収束率が1から一様に離れている幾何的エルゴドニシティを確立し、定常分布への全 Variation 距離の計算可能な上限を初めて得る。

ABSTRACT

The use of MCMC algorithms in high dimensional Bayesian problems has become routine. This has spurred so-called convergence complexity analysis, the goal of which is to ascertain how the convergence rate of a Monte Carlo Markov chain scales with sample size, $n$, and/or number of covariates, $p$. Recent work suggests that, while often useful for establishing convergence rates when $n$ and $p$ are fixed, techniques based on drift and minorization may not be versatile enough to handle the more delicate task of convergence complexity analysis. This article provides some general ideas for sharpening drift and minorization conditions, particularly in cases where~$n$ and/or~$p$ are large. The key ideas include developing an appropriately centered drift function, and suppressing high-dimensionality in the construction of minorization conditions. These concepts are employed in a thorough convergence complexity analysis of Albert and Chib's (1993) data augmentation algorithm for the Bayesian probit model. The main result is that the geometric convergence rate of the underlying Markov chain is bounded below 1 both as $n ightarrow \infty$ (with $p$ fixed), and as $p ightarrow \infty$ (with $n$ fixed). Furthermore, the first computable bounds on the total variation distance to stationarity are byproducts of the asymptotic analysis.

研究の動機と目的

• 高次元MCMCアルゴリズムの収束複雑性解析における伝統的ドリフトおよびマイノリゼーション技法の限界を解消すること。
• サンプルサイズ $n$ および予測変数の数 $p$ が増加する中でも有効な、より鋭くスケーラブルなドリフトおよびマイノリゼーション条件を開発すること。
• アービュットとチブ（1993）のベイズプロビット回帰のためのデータ増幅アルゴリズムにこれらの洗練された条件を適用すること。
• このアルゴリズムの定常分布への全 Variation 距離の計算可能な上限を導出すること。
• 両方の $n \to \infty$ および $p \to \infty$ の設定において、収束率が1から一様に離れている幾何的エルゴドニシティを確立すること。

提案手法

• 高次元設定における安定性とスケーラビリティを向上させるために、中心化されたドリフト関数を導入する。
• 高次元成分への依存を抑えることでマイノリゼーション条件を変更し、取り扱いやすさを向上させる。
• アービュットとチブのデータ増幅アルゴリズムの特定の構造に、洗練されたドリフトおよびマイノリゼーション枠組みを適用する。
• ドリフトおよびマイノリゼーション条件を用いて、マルコフ連鎖の幾何的エルゴドニシティを確立する。
• 漸近的解析を用いて、全 Variation 距離への計算可能な上限を明示的に導出する。
• 漸近的解析を用いて、$n \to \infty$ および $p \to \infty$ の下で収束率が1から離れていることを検証する。

実験結果

リサーチクエスチョン

• RQ1 ドリフトおよびマイノリゼーション条件を洗練させることで、高次元ベイズモデルにおける収束複雑性解析を扱えるようになるか？
• RQ2 サンプルサイズ $n$ および予測変数の数 $p$ が増大する中でも、アービュットとチブのプロビットモデルのためのデータ増幅アルゴリズムが幾何的エルゴドニシティを維持するか？
• RQ3 漸近的ドリフトおよびマイノリゼーション解析を用いて、定常分布への全 Variation 距離の計算可能な上限を導出できるか？
• RQ4 ドリフト関数を中央化することで、高次元設定における収束率解析がどのように改善されるか？
• RQ5 高次元MCMCアルゴリズムのための効果的なマイノリゼーション条件を構築する際に、次元の抑制が果たす役割は何か？

主な発見

• サンプルサイズ $n \to \infty$ で予測変数の数 $p$ が固定される下で、アービュットとチブのアルゴリズムに内在するマルコフ連鎖の幾何的収束率は1から離れている。
• サンプルサイズ $n$ が固定される下で $p \to \infty$ となる場合でも、幾何的収束率は1から離れていることが保証され、高次元設定でも安定した性能を示す。
• 本稿は、このアルゴリズムの定常分布への全 Variation 距離の計算可能な上限を初めて提供する。
• ドリフトの中央化とマイノリゼーションにおける次元の抑制により、洗練されたドリフトおよびマイノリゼーション条件は高次元設定を効果的に扱える。
• 漸近的解析により、大標本および高次元予測変数の両方のシナリオにおいて、収束率の安定性が確認された。
• 本手法により、標準的手法が失敗する複雑なベイズモデルにおけるMCMC収束の厳密かつ定量的な評価が可能になった。