[論文レビュー] Paired-move multiple-try stochastic search for Bayesian variable selection

Xu Chen, Shaan Qamar+1 more|arXiv (Cornell University)|Nov 29, 2016

Statistical Methods and Inference参考文献 5被引用数 3

ひとこと要約

本稿では、高次元の「pが大きくnが小さい」設定におけるベイズ変数選択のための、新しいペア移動を伴う複数試行メトロポリス（pMTM）MCMCアルゴリズムを提案する。複数試行メトロポリスを離散的モデル空間へ一般化し、近隣に基づく確率的探索を統合することで、局所的で逐次的な走査に依存することを減らし、混合性とスケーラビリティを向上させ、既存手法と比較して予測平均二乗誤差を顕著に低減する。同時に、モデルサイズの面でも競争力を持つ。

ABSTRACT

Variable selection is a key issue when analyzing high-dimensional data. The explosion of data with large sample sizes and dimensionality brings new challenges to this problem in both inference accuracy and computational complexity. To alleviate these problems, we propose a new scalable Markov chain Monte Carlo (MCMC) sampling algorithm for "large $p$ small $n$" scenarios by generalizing multiple-try Metropolis to discrete model spaces and further incorporating neighborhood-based stochastic search. The proof of reversibility of the proposed MCMC algorithm is provided. Extensive simulation studies are performed to examine the efficiency of the new algorithm compared with existing methods. A real data example is provided to illustrate the prediction performances of the new algorithm.

研究の動機と目的

• 高次元データ（pが大きくnが小さい）におけるベイズ変数選択の計算的および推論的課題に対処すること。
• 近隣に基づく確率的探索を組み込むことで、離散的モデル空間におけるMCMC探索の混合性と収束性を向上させること。
• 局所的で逐次的な走査に依存しないペア移動を伴う複数試行メトロポリスフレームワークを用いて、スケーラビリティと効率性を強化すること。
• 事後モデル確率を通じた信頼性のある不確実性の定量化を可能にする、堅牢で再現可能な変数選択手法を提供すること。
• 並列処理と計算予算の制御を活用して、大規模データセットへの実用的応用を可能にすること。

提案手法

• ペア移動を導入することで、複数の候補モデルを同時に提案する形で、複数試行メトロポリスアルゴリズムを離散的モデル空間へ一般化する。
• 局所的近隣におけるモデルを探索する近隣に基づく確率的探索戦略を導入し、相関する予測子を持つ設定での混合性を向上させる。
• 詳細なバランスを保証し、目的の事後分布への収束を確保するように、慎重に設計された提案分布を用いた可逆なMCMC遷移核を採用する。
• 1回の反復で提案する候補モデル数を制御する柔軟な計算予算パラメータMを用い、実験ではp/10に設定する。
• Rのparallelパッケージを用いたクラスタベースの並列計算により、データと周辺尤度の評価を複数コアに分散処理する。
• ada-pMTMでは、予測子のスコアを動的に更新する適応的チューニングを適用し、標準pMTMと比較して周辺尤度評価回数を削減する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ変数選択のための複数試行メトロポリスアルゴリズムを、離散的モデル空間へ効果的に一般化できるか？
• RQ2 ペア移動戦略は、逐次走査と比較して、高次元モデル空間探索における混合性と収束性をどのように向上させるか？
• RQ3 計算予算Mを変化させた場合、モデル選択の効率性と正確性にどのような影響を与えるか？
• RQ4 並列処理は、大規模な変数選択において、サンプリング品質を損なわずに実行時間を顕著に短縮できるか？
• RQ5 Lasso、SCAD、SSSといった既存手法と比較して、提案手法の予測性能とモデル選択の正確性はどのように異なるか？

主な発見

• pMTMおよびada-pMTMアルゴリズムは、競合手法と比較して低い予測平均二乗誤差（MSE）を達成し、実データ例ではada-pMTMが116.43のMSEを報告した。
• pMTMおよびada-pMTMは、Lassoや適応的Lassoと比較してより小さなモデルサイズを生成しながら、優れた予測性能を維持している。
• アルゴリズムは強力なスケーラビリティを示しており、Mが大きい場合、特に8コア環境下で並列処理により性能が向上する。
• M = p/5の場合、4または8クラスタでは通信オーバーヘッドが利点を制限するが、Mが増加するにつれて計算時間が支配的になり、並列処理が有益である。
• わずかなサンプル数で平衡状態に素早く収束し、再現性のための収束性とサンプルサイズの要件を満たしている。
• pRNSとada-pMTMを組み合わせたハイブリッド手法は、サンプルの多様性と収束速度のバランスを取るための有望な今後の方向性であると提言される。