[論文レビュー] Geometric convergence of elliptical slice sampling

Viacheslav Natarovskii, Daniel Rudolf+1 more|arXiv (Cornell University)|May 7, 2021

Markov Chains and Monte Carlo Methods参考文献 24被引用数 5

ひとこと要約

この論文は、事後密度に対してややいささかの正則性条件が満たされれば、楕円スライスサンプリングの幾何的エルゴード性を確立し、調整なしにほぼ確実に目標分布へ収束することを証明する。この手法はスライスサンプリングと楕円サンプリングを組み合わせて、複雑な事後幾何を効率的に探索し、理論的保証と実証的証拠の両方により、理論の範囲外であっても次元に依存しない性能を示す。

ABSTRACT

For Bayesian learning, given likelihood function and Gaussian prior, the elliptical slice sampler, introduced by Murray, Adams and MacKay 2010, provides a tool for the construction of a Markov chain for approximate sampling of the underlying posterior distribution. Besides of its wide applicability and simplicity its main feature is that no tuning is necessary. Under weak regularity assumptions on the posterior density we show that the corresponding Markov chain is geometrically ergodic and therefore yield qualitative convergence guarantees. We illustrate our result for Gaussian posteriors as they appear in Gaussian process regression, as well as in a setting of a multi-modal distribution. Remarkably, our numerical experiments indicate a dimension-independent performance of elliptical slice sampling even in situations where our ergodicity result does not apply.

研究の動機と目的

• ベイズ推論における一般的なサンプリング手法である楕円スライスサンプリングの理論的収束保証を確立すること。
• サンプリングによって生成されるマルコフ連鎖が幾何的エルゴード的であるための十分条件を同定すること。
• アルゴリズムの収束行動に関する経験的成果と理論的理解のギャップを埋めること。
• 理論的制限があるにもかかわらず、数値的に観察される次元に依存しない性能の理由を調査すること。

提案手法

• 標準的な一般状態空間におけるマルコフ連鎖理論を用いて、リャプノフ関数を構築し、小さな集合を同定することで、幾何的エルゴード性を証明する。
• コサインとサインでパラメータ化された楕円弧に基づく遷移核を用い、パrameter空間の効率的探索を保証する。
• ガウス的事前分布構造を尊重する提案メカニズムを組み合わせたスライスサンプリングを採用し、調整を回避する。
• ロジスティック回帰のような重い尾または減衰しない尾を持つ尤度関数に対しても適用可能にするために、「テールシフト」変更を導入する。
• 理論的分析は、尤度関数の弱い有界性と尾の減衰に関する仮定に依存し、幾何的ドリフトの存在を保証する。
• 数値実験では、標準的スライスサンプリングおよびメトロポリス・ハスティングス法と比較し、収束性と効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 楕円スライスサンプリングがどの条件下で幾何的エルゴード的であるか。
• RQ2 重い尾または減衰しない尾を持つ非ガウス的事後分布に対しても幾何的エルゴード性を証明できるか。
• RQ3 理論的制限があるにもかかわらず、なぜ楕円スライスサンプリングは実践で次元に依存しない性能を示すのか。
• RQ4 尾の減衰仮定を満たさない尤度関数をカバーする理論枠組みをどのように拡張できるか。
• RQ5 「テールシフト」変更は、目標分布を保存しつつ理論的収束保証を維持できるか。

主な発見

• 尤度関数の連続性、正定性、および十分な尾の減衰性という弱い正則性条件下で、楕円スライスサンプリングは幾何的エルゴード的である。
• 標準的なマルコフ連鎖理論の定理に依拠し、リャプノフ関数と小さな集合を用いて幾何的エルゴード性を確立する。
• 調整を必要とせず、ガウス過程や多峰型事後分布を含むさまざまなモデルで良好な性能を維持する。
• 数値実験により、理論的条件が満たされない状況でも、サンプリングが次元に依存しない統計的効率性を達成することが示された。
• 「テールシフト」変更により、尤度関数に指数的尾を導入することで、ロジスティック回帰への理論的適用が可能になり、事後分布が保存された。
• 理論的保証がなくても良好な性能が得られることが示され、尾の減衰条件が満たされない場合でも、アルゴリズムは有効に機能する。