[論文レビュー] Regularization and Computation with high-dimensional spike-and-slab posterior distributions

Yves Atchade, Anwesha Bhattacharyya|arXiv (Cornell University)|Mar 27, 2018

Markov Chains and Monte Carlo Methods参考文献 30被引用数 3

ひとこと要約

本稿は、高次元線形モデルにおけるスパイクアンドスラブ事前分布から導かれる正則化された擬似事後分布 $\check\Pi_{\gamma}$ を提案する。$\gamma \downarrow 0$ および $p \to \infty$ の下で、真のパラメータへの事後分布収縮の十分条件を確立し、真の事後分布と同一の収束速度を達成することを示し、設計行列のコherenceと初期化に依存する混合時間を持つMCMCアルゴリズムを導入する。計算複雑性は有利な条件下で $O(pe^{s_\star^2})$ となる。

ABSTRACT

We consider the Bayesian analysis of a high-dimensional statistical model with a spike-and-slab prior, and we study the forward-backward envelop of the posterior distribution -- denoted $\check\Pi_{\gamma}$ for some regularization parameter $\gamma>0$. Viewing $\check\Pi_\gamma$ as a pseudo-posterior distribution, we work out a set of sufficient conditions under which it contracts towards the true value of the parameter as $\gamma\downarrow 0$, and $p$ (the dimension of the parameter space) diverges to $\infty$. In linear regression models the contraction rate matches the contraction rate of the true posterior distribution. We also study a practical Markov Chain Monte Carlo (MCMC) algorithm to sample from $\check\Pi_{\gamma}$. In the particular case of the linear regression model, and focusing on models with high signal-to-noise ratios, we show that the mixing time of the MCMC algorithm depends crucially on the coherence of the design matrix, and on the initialization of the Markov chain. In the most favorable cases, we show that the computational complexity of the algorithm scales with the dimension $p$ as $O(pe^{s_\star^2})$, where $s_\star$ is the number of non-zeros components of the true parameter. We provide some simulation results to illustrate the theory. Our simulation results also suggest that the proposed algorithm (as well as a version of the Gibbs sampler of Narisetti and He (2014)) mix poorly when poorly initialized, or if the design matrix has high coherence.

研究の動機と目的

• 高次元モデルにおけるスパイクアンドスラブ事前分布から導かれる正則化された擬似事後分布 $\check\Pi_{\gamma}$ の頻度論的性質を研究すること。
• $\check\Pi_{\gamma}$ が次元 $p \to \infty$ および $\gamma \downarrow 0$ の下で真のパラメータに収束する十分条件を確立すること。
• 線形回帰モデルにおける $\check\Pi_{\gamma}$ を標本抽出するMCMCアルゴリズムの混合時間と計算複雑性を分析すること。
• 設計行列のコherenceと初期化が、高SNR領域におけるMCMC収束に与える影響を調査すること。

提案手法

• 本稿では、真のスパイクアンドスラブ事後分布の前向き・後向きエンベロープとして $\check\Pi_{\gamma}$ を定義し、正則化された擬似事後分布として用いる。
• 高次元線形モデルにおいて、$\check\Pi_{\gamma}$ が真のパラメータに真の事後分布と同一の速度で収束するための十分条件を導出する。
• MCMCアルゴリズムとしてメトロポリス・ハスティングス法を提案し、その混合時間について詳細な分析を行う。
• 混合時間と設計行列のコherence、およびマルコフ連鎖の初期化との関係を分析し、特に高SNR設定においてその影響を評価する。
• MCMCアルゴリズムの計算複雑性が、$s_\star$（真のパラメーターベクトルの非ゼロ成分数）に依存して $O(pe^{s_\star^2})$ に比例することを示す。
• 理論的結果は、設計行列のコherenceと初期化戦略を変化させた場合のMCMC混合性能を評価するシミュレーションスタディによって裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 正則化された擬似事後分布 $\check\Pi_{\gamma}$ が $p \to \infty$ および $\gamma \downarrow 0$ の下で真のパラメータに収束する条件は何か？
• RQ2 設計行列のコherenceが $\check\Pi_{\gamma}$ を標本抽出するMCMCアルゴリズムの混合時間にどのように影響するか？
• RQ3 初期化が高次元スパイクアンドスラブモデルにおけるMCMCサンプラーの収束に与える影響は何か？
• RQ4 MCMCアルゴリズムの計算複雑性は次元 $p$ とスパarsityレベル $s_\star$ にどのように依存するか？
• RQ5 初期化が悪いか、設計行列のコherenceが高い場合に、提案されたMCMCアルゴリズムと既存のギブスサンプリングとの混合性能はどのように比較されるか？

主な発見

• 十分な条件下で、正則化された擬似事後分布 $\check\Pi_{\gamma}$ は、真の事後分布と同一の速度で真のパラメータに収束する。これは高次元設定下でも成立する。
• 真のパラメータ $\theta_\star$ を標本抽出するMCMCアルゴリズムの混合時間は、設計行列のコherenceと連鎖の初期化に強く依存する。
• 有利な状況（低コherence、良好な初期化）では、MCMCアルゴリズムの計算複雑性は $O(pe^{s_\star^2})$ に比例し、$s_\star$ は真のスパarsityレベルを表す。
• シミュレーション結果から、提案されたMCMCとNarisettiとHe（2014）のギブスサンプラーの両方とも、初期化が悪い場合や設計行列のコherenceが高い場合に混合が著しく悪くなることが確認された。
• 理論的収束速度が線形回帰モデルにおける真の事後分布と一致するため、$\check\Pi_{\gamma}$ が計算的に実行可能な代替手法として有効であることが裏付けられた。
• 本研究は、設計行列の性質と初期化が、高次元スパイクアンドスラブモデルにおける事後分布の効率的探索に極めて重要であることを示した。