[論文レビュー] Wasserstein-based methods for convergence complexity analysis of MCMC with application to Albert and Chib's algorithm

Qian Qin, James P. Hobert|arXiv (Cornell University)|Oct 20, 2018

Markov Chains and Monte Carlo Methods参考文献 38被引用数 6

ひとこと要約

本稿は、標本サイズ $n$ と予測変数の数 $p$ が両方とも増加する高次元設定において、マルコフ連鎖モンテカルロ（MCMC）アルゴリズム、特にアービュットとチブのアルゴリズムの収束複雑度を分析するためのワッサーシュタインに基づく手法を提案する。従来のドリフトとミニマリゼーション（d&m）手法とは異なり、次元が増加するにつれて性能が低下するのではなく、ワッサーシュタイン手法は次元に依存しにくく、より鋭い収束レートの上限を導出し、$n, p \to \infty$ の共同漸近的枠組みにおける挙動を的確に捉えることができる。これにより、従来のd&mに基づく解析が残した空白が解消される。

ABSTRACT

Over the last 25 years, techniques based on drift and minorization (d&m) have been mainstays in the convergence analysis of MCMC algorithms. However, results presented herein suggest that d&m may be less useful in the emerging area of convergence complexity analysis, which is the study of how Monte Carlo Markov chain convergence behavior scales with sample size, $n$, and/or number of covariates, $p$. The problem appears to be that minorization becomes a serious liability as dimension increases. Alternative methods of constructing convergence rate bounds (with respect to total variation distance) that do not require minorization are investigated. These methods incorporate both old and new theory on Wasserstein distance and random mappings, and produce bounds that are apparently more robust to increasing dimension than those based on d&m. Indeed, the Wasserstein-based bounds are used to develop strong convergence complexity results for Albert and Chib's (1993) algorithm in the challenging asymptotic regime where both $n$ and $p$ diverge. We note that Qin and Hobert's (2019) d&m-based analysis of the same algorithm led to useful results in the cases where $n ightarrow \infty$ with $p$ fixed, and $p ightarrow \infty$ with $n$ fixed, but these authors provided no results for the case where $n$ and $p$ are both large.

研究の動機と目的

• 次元が増加する際のMCMCアルゴリズムの収束複雑度解析におけるドリフトとミニマリゼーション（d&m）手法の限界を是正すること。
• 高次元設定において問題となるミニマリゼーション条件を回避する代替の収束レートの上限を構築すること。
• 両方のサンプルサイズ $n$ と予測変数の数 $p$ が発散するという困難な状況下で、アービュットとチブ（1993）のアルゴリズムにこれらの上限を適用すること。
• ドリフトとミニマリゼーション手法が失敗する $n, p \to \infty$ の共同漸近的枠組みにおいて、アービュットとチブのアルゴリズムの収束複雑度に関する初の結果を提供すること。

提案手法

• 本稿は、ワッサーシュタイン距離および確率的写像に関する最近の理論的進展を用いて収束レートの上限を構築する。
• d&mにおけるミニマリゼーション条件を、高次元の依存構造をよりうまく扱えるワッサーシュタインに基づくカップリングフレームワークに置き換える。
• マーカフ遷移核の性質とそのワッサーシュタイン収縮率を活用して、次元に依存しない収束レートの上限を導出する。
• ワッサーシュタイン距離に関する古くからの理論と新しい理論を統合し、共同漸近的条件下でのMCMCサンプラーの収束挙動を分析する。
• 本手法は、ベイズロジスティック回帰に広く用いられるMCMC手法であるアービュットとチブのアルゴリズムに特に適用される。
• カップリングの議論とワッサーシュタイン距離の距離的性質を用いて、高次元パrameter空間における収束速度を定量化する理論的上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 両方の $n$ と $p$ が増加する高次元設定において、MCMCアルゴリズムの収束複雑度解析を改善できるか？
• RQ2 なぜ従来のドリフトとミニマリゼーション（d&m）手法は、$n, p \to \infty$ の共同漸近的枠組みで失敗するのか？
• RQ3 ワッサーシュタインに基づく手法は、高次元においてd&mよりも鋭く、より頑健な収束レートの上限を提供できるか？
• RQ4 両方の $n$ と $p$ が同時に発散する際、アービュットとチブのアルゴリズムの収束挙動はいかなるものか？
• RQ5 d&mに基づく解析、例えばチンとホーバート（2019）の解析は、高次元における漸近的状況下でMCMC収束の完全な複雑性を捉えていないのか？

主な発見

• ワッサーシュタインに基づく手法は、ドリフトとミニマリゼーションに基づくものよりも次元の増加に対してより頑健な収束レートの上限を生み出す。
• 提案手法は、従来のd&mに基づく解析が到達できなかった、$n, p \to \infty$ の共同漸近的枠組みにおいて、アービュットとチブのアルゴリズムに対する強力な収束複雑度の結果を成功裏に導出する。
• ミニマリゼーション条件は高次元設定において顕著な欠陥となり、従来のd&m手法の適用範囲を制限する。
• ワッサーシュタインに基づく上限は、$n$ と $p$ に対するMCMC収束のスケーリング挙動をより効果的に捉えられると示された。
• チンとホーバート（2019）のd&mに基づく解析が、$n \to \infty$ で $p$ を固定、または $p \to \infty$ で $n$ を固定する場合にのみ結果を提供していたのに対し、本手法は両方が大きな場合にも有効であるという、重要な制限を克服した。