[論文レビュー] On the Computational Complexity of High-Dimensional Bayesian Variable Selection

Yun Yang, Martin J. Wainwright+1 more|arXiv (Cornell University)|May 29, 2015

Markov Chains and Monte Carlo Methods参考文献 35被引用数 9

ひとこと要約

本稿は、高次元線形回帰におけるベイズ変数選択が、事後一致性とメトロポリス・ハスティングスMCMCアルゴリズムの高速混合を両立するための条件を確立する。断片的スパarsity事前分布を導入し、標準経路解析を活用することで、著者らは混合時間の増加が説明変数の数に線形的であることを証明し、対数要因を除いて、高次元設定下での計算的効率性を保証する。

ABSTRACT

We study the computational complexity of Markov chain Monte Carlo (MCMC) methods for high-dimensional Bayesian linear regression under sparsity constraints. We first show that a Bayesian approach can achieve variable-selection consistency under relatively mild conditions on the design matrix. We then demonstrate that the statistical criterion of posterior concentration need not imply the computational desideratum of rapid mixing of the MCMC algorithm. By introducing a truncated sparsity prior for variable selection, we provide a set of conditions that guarantee both variable-selection consistency and rapid mixing of a particular Metropolis-Hastings algorithm. The mixing time is linear in the number of covariates up to a logarithmic factor. Our proof controls the spectral gap of the Markov chain by constructing a canonical path ensemble that is inspired by the steps taken by greedy algorithms for variable selection.

研究の動機と目的

• p ≫ n の場合に、高次元ベイズ変数選択におけるMCMCアルゴリズムの計算複雑性を調査すること。
• 統計的一致性（事後確率濃縮）と計算効率（高速混合）の間のギャップを埋めること。
• 変数選択の一致性とメトロポリス・ハスティングスアルゴリズムの高速混合を両立する条件を同定すること。
• 高次元設定下でのスケーラビリティを保証する、pに関して多項式的な混合時間に関する理論的保証を提供すること。

提案手法

• 著者らは、モデル空間の制限と計算の tractability を確保するため、Zellner g-prior と断片的スパarsity事前分布を組み合わせた階層ベイズモデルを採用する。
• 局所的な移動を用いたモデル空間上のメトロポリス・ハスティングスランダムウォークを分析し、効率的な探索を実現する shotgun stochastic search に類似した動きを実現する。
• マコブチェーンの固有値ギャップをバインドするために、貪欲な変数選択アルゴリズムにインspiredされた標準経路集合を構築する。
• 特定の設計行列およびパrameter 条件下で、迅速な混合を保証する経路構築による固有値ギャップの制御に依拠した証明を行う。
• 主な技術的ツールには、β_min条項、設計行列のコherence（ν）に関する仮定、および高次元漸近下での集中不等式が含まれる。
• 事後確率比と残差平方和のバインドを組み合わせることで、混合時間の保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元線形回帰におけるベイズ変数選択手順は、どのような条件下で事後一致性を達成するか？
• RQ2 事後確率濃縮は、関連するMCMCアルゴリズムの高速混合を意味するか？
• RQ3 高次元的スパarsity下で、モデル空間探索のためのメトロポリス・ハスティングスアルゴリズムがpに関して多項式的時間で混合できるか？
• RQ4 統計的および計算的効率性を保証するために、設計行列および事前分布に必要な構造的仮定は何か？
• RQ5 貪欲アルゴリズムにインspiredされた標準経路構築を用いて、MCMCチェーンの固有値ギャップをどのようにバインドできるか？

主な発見

• 設計行列にやや弱い条件（β_min条項および有界なコherence ν）が満たされれば、変数選択の事後一致性が達成される。
• 固有値ギャップが0から離れている限り、メトロポリス・ハスティングスアルゴリズムの高速混合が保証され、これは標準経路構築によって確立される。
• 混合時間は、説明変数の数pに線形的に増加し、対数要因を除いて、多項式的収束を示唆する。
• 高速混合のための重要な条件は、β_min条項における係数C_βがν²C_β ≥ 64(α + κ + 8(L + L̃) + 2)を満たすことであり、真のモデルと偽のモデルとの間の十分な分離を保証する。
• 事象An ∩ Bn ∩ Cn ∩ Dnの下で、事後オッズ比π(γ|Y)/π(γ*|Y)はp^{-(κ+α)ℓ - 2}で上界が与えられ、これは偽陽性の数ℓに関して指数的に減少する。
• 解析により、MCMCアルゴリズムが高次元的状況下でも指数的混合時間を避けることができ、モデル空間を効率的に探索できることを確認した。