[論文レビュー] Dimension-free Mixing for High-dimensional Bayesian Variable Selection

Quan Zhou, Jun Yang+3 more|arXiv (Cornell University)|May 12, 2021

Markov Chains and Monte Carlo Methods参考文献 50被引用数 4

ひとこと要約

本稿では、高次元ベイズ変数選択における新しいインフォームドメトロポリス・ハスティングスMCMCサンプラーLIT-MHを提案する。この手法は、局所的インフォームドでしきい値処理された提案分布を用いることで、次元に依存しない混合性（つまり、混合時間は説明変数の数$p$に依存しない）を達成する。弱い高次元的仮定の下で、無知なサンプラーに比べてより速い混合性を達成しつつ、局所的後方確率評価の計算コストを正当化する。

ABSTRACT

Yang et al. (2016) proved that the symmetric random walk Metropolis--Hastings algorithm for Bayesian variable selection is rapidly mixing under mild high-dimensional assumptions. We propose a novel MCMC sampler using an informed proposal scheme, which we prove achieves a much faster mixing time that is independent of the number of covariates, under the same assumptions. To the best of our knowledge, this is the first high-dimensional result which rigorously shows that the mixing rate of informed MCMC methods can be fast enough to offset the computational cost of local posterior evaluation. Motivated by the theoretical analysis of our sampler, we further propose a new approach called "two-stage drift condition" to studying convergence rates of Markov chains on general state spaces, which can be useful for obtaining tight complexity bounds in high-dimensional settings. The practical advantages of our algorithm are illustrated by both simulation studies and real data analysis.

研究の動機と目的

• MCMCを用いた高次元的ベイズ変数選択において、説明変数の数$p$が大きい場合に生じる混合の遅さという課題に対処すること。
• インフォームドMCMC手法が、1回の反復あたりの計算コストが高額であるにもかかわらず、十分に速い混合レートを達成できることを厳密に示すこと。
• 高次元的設定におけるマルコフ連鎖の収束速度を分析するための新しい理論的枠組み「二段階ドリフト条件」を構築すること。
• 次元に依存する混合の遅れが生じない、実用的で効率的なMCMCサンプラーを設計すること。
• 既存のインフォームドサンプラーがしばしば混合性が悪化したり強い仮定を必要としたりするのに対し、理論的根拠に基づいた次元に依存しない代替手法を提供すること。

提案手法

• 提案されるLIT-MH（局所的インフォームドかつしきい値処理されたメトロポリス・ハスティングス）は、バランス関数$f(b) = \sqrt{b}$を用いて、後方確率比$\pi_n(\gamma')/\pi_n(\gamma)$に基づく提案確率を重みづけする。
• 極端な後方確率比を切り詰めるしきい値処理された提案メカニズムを導入し、提案分布の安定性を高め、数値的安定性と混合性を向上させる。
• 次元に依存しない混合性を証明するための二段階ドリフト条件を採用し、一般状態空間上での収束速度の上限を求める、画期的な理論的ツールを提供する。
• 近傍$\mathcal{N}_1(\gamma)$内での追加・削除・交換の動きを用い、局所的後方密度比から導かれる提案重みを採用する。
• 後方確率比が無限大に発散する可能性があるのを避けるために、「安定化版」$\tilde{\mathbf{K}}_{\text{lb}}$の提案核を適用する。
• 理論的解析により、Yangら（2016）の仮定の下で、LIT-MHの混合時間は$p$に依存しないことが示され、標準的なランダムウォークMHとは異なり、次元に依存しない。

実験結果

リサーチクエスチョン

• RQ1 高次元的変数選択におけるインフォームドMCMCサンプラーは、説明変数の数$p$に依存しない混合時間を持つことができるか？
• RQ2 局所的後方確率密度の評価に伴う計算コストは、高次元的状況下で十分に速い混合速度によって相殺できるか？
• RQ3 「二段階ドリフト条件」という新しい理論的枠組みを構築することで、高次元的マルコフ連鎖解析におけるタイトな収束バウンドを確立できるか？
• RQ4 同じ設計原理を持つにもかかわらず、実際には特定のインフォームド提案スキーム（例：LB-MH-1）が他のものよりも優れた性能を示すのはなぜか？
• RQ5 LIT-MHは、温度付きギブスやASIといった既存のインフォームドサンプラーと比較して、混合速度および頑健性の点で優れているか？

主な発見

• LIT-MHは、説明変数の数$p$に依存しない混合時間を達成しており、一般の高次元的設定において、インフォームドMCMC手法として初めてのこの結果を達成した。
• 理論的解析により、高次元的状態空間における収束速度バウンドをタイトに制御できる新しい「二段階ドリフト条件」が導入された。
• シミュレーション研究により、LIT-MHは、多モーダルな後方分布の状況下でも、無知なランダムウォークメトロポリス・ハスティングスアルゴリズムを著しく上回ることが示された。
• 安定化版提案$\tilde{\mathbf{K}}_{\text{lb}}$は、数値的により安定しており、実際の応用では常に元の$\mathbf{K}_{\text{lb}}$よりも好ましいことが示された。
• LB-MH-1は、追加と削除の動きの重み付けを分離することで、信号対雑音比が十分に高い場合に、低確率モデルに閉じ込められるのを回避する。
• LIT-MHは、適応や並列連鎖を必要とせず、強力な性能を維持する。また、温度調整やブロッキング戦略との統合も容易に設計可能である。