[論文レビュー] MCMC algorithms for Bayesian variable selection in the logistic regression model for large-scale genomic applications

Manuela Zucknick, Sylvia Richardson|arXiv (Cornell University)|Feb 12, 2014

Bayesian Methods and Mixture Models参考文献 20被引用数 5

ひとこと要約

本稿では、高次元のロジスティック回帰におけるベイズ変数選択のための近隣に基づくMCMCサンプラーを提案する。予測子間の条件付き依存構造を活用することで、混合性と収束性が向上する。相関の強い変数をグループ化して同時に更新することで、モデルを変更せずに大規模なゲノム応用におけるMCMCサンプリングを著しく高速化し、シミュレーションおよび実データの研究において、標準的なギブスサンプラーおよびメトロポリス・ハスティングスサンプラーを上回る性能を示した。

ABSTRACT

In large-scale genomic applications vast numbers of molecular features are scanned in order to find a small number of candidates which are linked to a particular disease or phenotype. This is a variable selection problem in the "large p, small n" paradigm where many more variables than samples are available. Additionally, a complex dependence structure is often observed among the markers/genes due to their joint involvement in biological processes and pathways. Bayesian variable selection methods that introduce sparseness through additional priors on the model size are well suited to the problem. However, the model space is very large and standard Markov chain Monte Carlo (MCMC) algorithms such as a Gibbs sampler sweeping over all p variables in each iteration are often computationally infeasible. We propose to employ the dependence structure in the data to decide which variables should always be updated together and which are nearly conditionally independent and hence do not need to be considered together. Here, we focus on binary classification applications. We follow the implementation of the Bayesian probit regression model by Albert and Chib (1993) and the Bayesian logistic regression model by Holmes and Held (2006) which both lead to marginal Gaussian distributions. We in- vestigate several MCMC samplers using the dependence structure in different ways. The mixing and convergence performances of the resulting Markov chains are evaluated and compared to standard samplers in two simulation studies and in an application to a real gene expression data set.

研究の動機と目的

• p >> n の高次元ロジスティック回帰において、標準的なMCMCサンプラーの計算不能性に対処すること。
• 予測子間の条件付き依存構造を活用することで、MCMCの混合性と収束性を向上させること。
• 完全な変数スイープを回避しながら、後方確率の正確性を維持するスケーラブルでヒューリスティックに基づくMCMCフレームワークを構築すること。
• シミュレーションおよび実際の遺伝子発現データにおいて、近隣ベースのサンプラーと標準的なギブスおよびメトロポリス・ハスティングス手法の性能を評価すること。
• 効率的なMCMCサンプリングを用いて、大規模なゲノムデータセットへのベイズ変数選択の実現可能性を示すこと。

提案手法

• 2変数間の相関または偏相関に基づくデータ駆動型近隣構築を用い、変数をグループ化して同時に更新する。
• ホルンズとヘルド（2006）のデータ拡張アプローチを適用し、ロジスティック回帰を条件付きガウスモデルに変換することで共役事前分布を可能にする。
• 全近隣の変数を一度に更新するMCMCサンプラーを実装し、無意味な単一変数の提案を減らす。
• 偏相関の閾値を用いて近隣を定義し、条件付き独立構造を捉え、混合性を向上させる。
• 近隣サンプラーを並列温度法および進化モンテカルロと組み合わせ、さらに混合性とモデル空間の探索性を向上させる。
• 並列温度法において幾何的温度ラダーを用い、複数のチェーン間での収束性と混合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 近隣に基づくMCMCサンプリングは、高次元ロジスティック回帰におけるベイズ変数選択の混合性と収束性を向上させることができるか？
• RQ2 有効サンプルサイズと計算時間の観点から、近隣サンプラーは標準的な全ギブスおよび追加/削除メトロポリス・ハスティングス手法と比べてどのように性能を発揮するか？
• RQ3 近隣の定義に原始相関ではなく偏相関を使用することで、高次元設定においてより良い混合性が得られるか？
• RQ4 モデルに構造的仮定を課さずに、ヒューリスティックな近隣構築がMCMC効率をどの程度向上させられるか？
• RQ5 並列温度法や進化モンテカルロといった高度なMCMC技術と、提案手法を組み合わせることが、実際のゲノムデータ応用において有効に機能するか？

主な発見

• 偏相関に基づく近隣サンプラーは、両方のシミュレーション状況において、特に平均近隣サイズが中程度から大きい場合、全ギブスサンプリングを上回った。
• シミュレーション状況1では、相関に基づく近隣サンプラーが、近隣サイズが十分に大きい場合には、全ギブスの性能に匹敵または上回った。
• 近隣ベースのMCMCアプローチは、計算時間の最適化を行わなかったにもかかわらず、標準的な全ギブスおよび追加/削除メトロポリス・ハスティングスサンプラーと比較して、1イテレーションあたりの混合性が著しく向上した。
• 本手法は、真のモデル構造の事前知識を必要とせず、データ駆動型の依存パターンにのみ依存することで、MCMC効率を向上させた。
• 近隣サンプラーと並列温度法を組み合わせることで、p >> n の実際の遺伝子発現データセットにおいて、収束性と探索性が著しく向上した。
• 事前分散c²の選択がγの後方確率推定にほとんど影響を及ぼさなかったため、デフォルトの事前分布設定でも変数選択に頑健であることが示された。