[論文レビュー] Individual adaptation: an adaptive MCMC scheme for variable selection problems

Jim E. Griffin, Krzysztof Łatuszyński+1 more|arXiv (Cornell University)|Dec 21, 2014

Bayesian Methods and Mixture Models参考文献 33被引用数 9

ひとこと要約

本稿では、高次元回帰におけるベイズ変数選択のための、適応的メトロポリス・ハスティングスMCMCアルゴリズムであるIndividual Adaptationを提案する。この手法は、過去のサンプルに基づいて各パラメータごとに提案分布を動的に調整することで、大規模な $ p $、小規模な $ n $ の設定において混合性と収束性を向上させる。22,577変数の遺伝子発現データセットにおいて、その有効性が実証された。

ABSTRACT

The increasing size of data sets has lead to variable selection in regression becoming increasingly important. Bayesian approaches are attractive since they allow uncertainty about the choice of variables to be formally included in the analysis. The application of fully Bayesian variable selection methods to large data sets is computationally challenging. We describe an adaptive Markov chain Monte Carlo approach called Individual Adaptation which adjusts a general proposal to the data. We show that the algorithm is ergodic and discuss its use within parallel tempering and sequential Monte Carlo approaches. We illustrate the use of the method on two data sets including a gene expression analysis with 22 577 variables.

研究の動機と目的

• 数万の $ p $ を有する高次元回帰におけるベイズ変数選択の計算的課題に対処すること。
• 多峰性と高次元性のため、標準的なMCMCサンプラーが混合性が低く収束が遅くなる問題を克服すること。
• 各パラメータごとに提案分布を個別に調整する適応的MCMCスキームを開発し、サンプリング効率を向上させること。
• 大規模な変数選択問題におけるスケーラブルで代表的な事後分布サンプリングを可能にすること。
• 巨大な予測子集合を有する遺伝子発現解析のような複雑な設定への応用を支援すること。

提案手法

• 各変数に対して過去のサンプルに基づいて独立に提案分布を調整する、新しい適応的MCMCアルゴリズムであるIndividual Adaptationを提案する。
• ランダムウォークメトロポリス・ハスティングス方式を採用し、提案分布の共分散行列を、受け入れられたおよび拒否されたステートの履歴に基づいて各パラメータごとに更新する。
• マークフ・チェーンの確実収束性とエルゴード性を保証するため、減衰する適応スケジュールを採用する。
• マルチモーダルな事後分布における混合性をさらに向上させるために、並列温度法と逐次モンテカルロを統合する。
• 回帰係数に $ g $-priorまたは独立正規事前分布を用いたスパイクアンドスラブ事前分布を適用し、完全なベイズ的モデル平均化を可能にする。
• 過去の値の経験的分散に基づいて各係数の提案分散を調整することで、受容率の向上と探索の改善を実現する。

実験結果

リサーチクエスチョン

• RQ1 各パラメータごとに提案分布を個別に調整する適応的MCMCスキームは、高次元ベイズ変数選択における混合性を向上させることができるか？
• RQ2 Individual Adaptationは、標準的な適応的MCMC手法と比較して、収束速度とサンプリング効率において優れているか？
• RQ3 Individual Adaptationは、大規模な $ p $、小規模な $ n $ の回帰問題におけるマルチモーダルな事後分布を効果的に探索できるか？
• RQ4 適応的チューニング下でも、Individual Adaptationはエルゴード性と確実収束性を維持するか？
• RQ5 Individual Adaptationは、遺伝子発現データ（22,577変数）のような実世界の高次元データセットにスケーラブルに適用可能か？

主な発見

• Individual Adaptationは、標準的な適応的MCMC手法と比較して、高次元変数選択問題における混合性と収束速度を顕著に向上させる。
• 予測子間の強い相関が存在する状況でも、モデル空間の効率的探索が可能である。
• 22,577変数の遺伝子発現データセットに対する実験結果から、標準的手法が失敗する状況でも、Individual Adaptationは代表的な事後分布サンプルを生成する。
• 減衰する適応スケジュール下でも、エルゴード性が維持され、目標分布への確実収束が保証される。
• 並列温度法と逐次モンテカルロの統合により、マルチモーダルな事後分布における性能がさらに向上する。
• 各パラメータごとの適応的チューニングにより、より高い有効サンプルサイズとより安定した事後包含確率推定値が得られる。