[論文レビュー] MCMC-Based Inference in the Era of Big Data: A Fundamental Analysis of the Convergence Complexity of High-Dimensional Chains

Bala Rajaratnam, Doug Sparks|arXiv (Cornell University)|Aug 5, 2015

Markov Chains and Monte Carlo Methods参考文献 38被引用数 52

ひとこと要約

本論文は、高次元MCMCサンプラーの収束複雑性を分析するきめ細やかな理論的枠組みを提供し、次元が増加するにつれて標準的手法が失敗することを示している。新たな再パラメータライゼーションと事前分布の指定を通じて、高次元モデルにおける有界幾何的エルゴード性を確立し、大規模な $ p $ におけるベイズ推論の重要な収束問題を解決している。

ABSTRACT

Markov chain Monte Carlo (MCMC) lies at the core of modern Bayesian methodology, much of which would be impossible without it. Thus, the convergence properties of MCMCs have received significant attention, and in particular, proving (geometric) ergodicity is of critical interest. Trust in the ability of MCMCs to sample from modern-day high-dimensional posteriors, however, has been limited by a widespread perception that these chains typically experience serious convergence problems. In this paper, we first demonstrate that contemporary methods for obtaining convergence rates have serious limitations when the dimension grows. We then propose a framework for rigorously establishing the convergence behavior of commonly used high-dimensional MCMCs. In particular, we demonstrate theoretically the precise nature and severity of the convergence problems of popular MCMCs when implemented in high dimensions, including phase transitions in the convergence rates in various $n$ and $p$ regimes, and a universality result across an entire spectrum of models. We also show that convergence problems effectively eliminate the apparent safeguard of geometric ergodicity. We then demonstrate theoretical principles by which MCMCs can be constructed and analyzed to yield bounded geometric convergence rates even as the dimension $p$ grows without bound. Additionally, we propose a diagnostic tool for establishing convergence.

研究の動機と目的

• 高次元ベイズ推論におけるMCMC収束の理論的理解の欠如に取り組むこと、特に $ p $ が増加する場合に焦点を当てる。
• 収束が著しく劣化する高次元MCMCチェインの根本的要因、特に不要パラメータによる事後分布の依存性に起因する要因を特定・特徴づけること。
• さまざまな $ n $ と $ p $ の設定における収束速度の分析のための理論的枠組みを構築すること、収束行動における段階的転移を含む。
• 再パラメータライゼーションと情報的事前分布を戦略的に用いることで、高次元モデルにおいて幾何的エルゴード性を保持または回復できることを示すこと。
• 実務において収束複雑性の問題を検出できる診断ツールとしての次元別自己相関関数（DACF）プロットを提案すること。

提案手法

• 高次元回帰モデルにおけるギブスサンプラーの第一原理的分析を提案し、ベイズラッソ、エラスティックネット、スパイクアンドスラブを含む。
• ローゼンタール（1995）の幾何的エルゴード性フレームワークを、$ p \to \infty $ の場合にまで拡張して高次元設定に適用する。
• 不要パラメータを主なパラメータから分離する再パラメータライゼーション戦略を導入し、事後分布の依存性を低減する。
• 不要パラメータに対して、経験ベイズ法および強く情報的な事前分布を用いて収束を安定化させ、既知パラメータの状況を模倣する。
• 次元と標本サイズの関数として収束複雑性を可視化する診断ツールとしてのDACFプロットを開発する。
• $ n $ と $ p $ の設定における収束速度を分析し、収束が劣化する段階的転移を同定する。

実験結果

リサーチクエスチョン

• RQ1 次元 $ p $ が増加する際、固定された $ n $ に対して標準的手法のMCMC収束分析がなぜ失敗するのか？
• RQ2 階層的または依存する事前分布を持つモデルにおいて、MCMCサンプラーの収束速度が劣化する主な原因は何か？特に、未知の不要パラメータが事後分布の依存性を引き起こす場合。
• RQ3 幾何的エルゴード性が壊れたと見える高次元モデルでも、それを保持または回復できるか？
• RQ4 再パラメータライゼーション、情報的事前分布、または経験ベイズ法が、高次元MCMCにおける収束複雑性をどの程度軽減できるか？
• RQ5 DACFプロットのような診断ツールは、実務において収束複雑性を他の収束問題と効果的に区別できるか？

主な発見

• 標準的手法のMCMC収束分析は、固定された $ n $ と $ p $ を仮定するため、高次元設定では崩壊し、収束行動に関する誤った結論を導く。
• 特に階層モデルにおいて、未知の不要パラメータが引き起こす事後分布の依存性は、幾何的エルゴード性が期待される場合でも、MCMC収束速度を著しく劣化させる。
• 標準ギブスサンプラーの収束速度 $ r_{n,p} $ は、高次元領域では1に近づき、特に $ p > n $ の場合に混合が著しく悪いことを示す。
• モデルの再パラメータライゼーションと不要パラメータに対する情報的事前分布の使用により、収束速度を1から離して有界化でき、結果として幾何的エルゴード性が回復される。
• DACFプロットは、特に高次元設定において、収束複雑性の問題を特定する有効な診断ツールであることが示された。
• 普遍性の結果が確立された：広範なモデルクラスにおいて、$ n $ と $ p $ における収束行動は類似した段階的転移を示し、共通の背後メカニズムがあると示唆された。