[論文レビュー] A Variational Algorithm for Bayesian Variable Selection

Xichen Huang, Jin Wang+1 more|arXiv (Cornell University)|Feb 24, 2016

Statistical Methods and Inference参考文献 12被引用数 15

ひとこと要約

本稿では、スパイクアンドスラブ事前分布を用いた変数選択のための高速でスケーラブルな変分ベイズアルゴリズムを提案する。バッチ単位での更新スキームを採用することで、特徴量次元が標本サイズとともに指数関数的に増加する場合でも、漸近的整合性を保証する。従来の変分法とは異なり、弱い正則性条件のもとで、頻度主義的およびベイズ的整合性の両方を達成する。

ABSTRACT

There has been an intense development on the estimation of a sparse regression coefficient vector in statistics, machine learning and related fields. In this paper, we focus on the Bayesian approach to this problem, where sparsity is incorporated by the so-called spike-and-slab prior on the coefficients. Instead of replying on MCMC for posterior inference, we propose a fast and scalable algorithm based on variational approximation to the posterior distribution. The updating scheme employed by our algorithm is different from the one proposed by Carbonetto and Stephens (2012). Those changes seem crucial for us to show that our algorithm can achieve asymptotic consistency even when the feature dimension diverges exponentially fast with the sample size. Empirical results have demonstrated the effectiveness and efficiency of the proposed algorithm.

研究の動機と目的

• MCMCの代替として、高速でスケーラブルな変数選択のためのベイズ的手法を開発すること。
• 標本サイズnとともに急速に増加するpを伴う高次元設定におけるMCMCの計算ボトル neck を解決すること。
• 弱い正則性条件の下で、変分インファレンスアルゴリズムの頻度主義的およびベイズ的整合性を理論的に確立すること。
• pがnとともに指数関数的に発散する場合に、バッチ単位での更新が整合性を達成するために不可欠であることを示すこと。
• 相関のある高次元設定において、逐次的更新スキームを上回る収束性と性能を示す決定論的で収束するアルゴリズムを提供すること。

提案手法

• 回帰係数βと包含指標γの結合事後分布に対する変分ベイズ近似を用いる。
• すべての特徴量パラメータを同時に更新するバッチ単位の更新スキームを採用し、高次元または相関のある設定における誤差蓄積を回避する。
• 事後分布に対する平均場近似を適用し、変分分布をq(β, γ) = q(β|γ)q(γ)と因数分解する。
• 対数生成関数とモーメント生成関数を用いて、変分パラメータの閉形式更新を導出する。
• 後部包含確率φjに基づくしきい値ルールを導入し、最終的なモデル選択を決定する。
• 集中不等式およびβとw_nのモーメントの漸近的バウンドを用いて、収束性と整合性を証明する。

実験結果

リサーチクエスチョン

• RQ1 予測子数pが標本サイズnとともに指数関数的に増加する場合、決定論的変分アルゴリズムは頻度主義的選択整合性を達成できるか？
• RQ2 高次元かつ相関のある設計のもとで、変分インファレンスにおけるバッチ単位の更新スキームは、逐次的更新に比べて整合性およびロバストネスにおいて優れているか？
• RQ3 変分事後分布が真のモデルに集中する条件は何か？ これによりベイズ的整合性が保証される。
• RQ4 閉形式の事後分布が存在しないにもかかわらず、高次元の変数選択における変分ベイズ手法に対して理論的整合性を確立できるか？
• RQ5 ハイパーパrameter（例：v₁およびaₙ）の選択が、アルゴリズムの収束性および整合性に与える影響は何か？

主な発見

• 提案されたアルゴリズムは頻度主義的選択整合性を達成しており、n → ∞ において真のモデルS*nを確率1で正しく特定する。
• アルゴリズムはベイズ的整合性を保証する。p ≺ exp(n^{(a−1−η₃)/2}) かつ v₁ が指数関数的に∞に発散する限り、真のモデルの事後確率q(γ*) → 1 となる。
• バッチ単位での更新スキームは整合性を達成するために不可欠である。同様の条件下で、逐次的更新（Carbonetto & Stephens, 2012）は整合性を達成できない。
• w_nの変分近似の分散はO(σ² / λ_n1)で有界であり、高次元領域でも安定性を保証する。
• p、n、および信号強度に対する弱い正則性条件の下で、不要な変数の包含確率φjは確率的に0に収束し、関連のある変数では1に収束する。
• 標本サイズが大きい場合には、後部包含確率が0または1の周囲に集中するため、アルゴリズムは高確率で1回の反復で収束する。