[論文レビュー] Coupled Markov chain Monte Carlo for high-dimensional regression with Half-t priors

Niloy Biswas, Anirban Bhattacharya+2 more|arXiv (Cornell University)|Dec 9, 2020

Bayesian Methods and Mixture Models参考文献 1被引用数 4

ひとこと要約

本稿では、ハイパーディメンションのベイズ回帰に半t事前分布を用いて、計算スケーラビリティと収束診断の両面を向上させる、結合されたマルコフ連鎖モンテカルロ（MCMC）アルゴリズムを提案する。この手法は、10万の共変量を有するゲノムワイド関連解析（GWAS）においても効率的な性能を示し、自由度が1より大きい半t事前分布が統計的頑健性と計算効率の両方を向上させることを示している。

ABSTRACT

Continuous shrinkage priors are commonly used in Bayesian analysis of high-dimensional data, due to both their computational advantages and favorable statistical properties. We develop coupled Markov chain Monte Carlo (MCMC) algorithms for Bayesian shrinkage regression in high dimensions. Following Glynn & Rhee (2014), these couplings can be used in parallel computation strategies and practical diagnostics of convergence. Focusing on a class of shrinkage priors which includes the Horseshoe, we demonstrate the scalability of the proposed couplings with data from a genome-wide association study with 2000 rows and 100,000 covariates. The results highlight the impact of the shrinkage prior on the computational efficiency of the coupling procedure, and motivate priors where the local precisions are Half-t distributed with degree of freedom larger than one, which are statistically justifiable in terms of posterior concentration, and lead to practical computations.

研究の動機と目的

• 連続的縮約事前分布を用いたハイパーディメンション回帰のためのスケーラブルなMCMCアルゴリズムの開発。
• Glynn & Rhee（2014）のインスピレーションを受けて、結合を用いた収束診断と並列計算の効率の向上。
• 特に半t事前分布の選択がハイパーディメンション設定における計算性能に与える影響の評価。
• 大規模回帰において統計的最適性と計算の実行可能性の両立を図る事前分布の同定。

提案手法

• ベイズ的縮約回帰に適した結合MCMC技術を適用し、並列実行と収束モニタリングを可能にする。
• ホーシュープ・プライヤーを含む、局所精度パラメータが半t分布から抽出される縮約事前分布のクラスを用いる。
• 事後分布の集中性と計算安定性を確保するため、自由度が1より大きい半t事前分布を採用する。
• 詳細バランスを保持し、効果的な収束診断を可能にするための結合メカニズムを設計する。
• 2000件のサンプルと10万の共変量を有するハイパーディメンションのゲノムワイド関連解析（GWAS）にアルゴリズムを実装する。
• 結合構造を活用してモンテカルロ誤差を推定し、ハイパーディメンションパラメータ空間における混合効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 結合MCMCは、連続的縮約事前分布を用いたハイパーディメンション回帰にどのように効果的に適用可能か？
• RQ2 半t事前分布の自由度が計算効率と収束に与える影響は何か？
• RQ3 結合MCMCはハイパーディメンションベイズモデルにおいて信頼性のある収束診断を可能にするか？
• RQ4 自由度が1より大きい半t事前分布は、他の縮約事前分布と比較して、事後分布の集中性と計算性能の両面で優れているか？
• RQ5 本手法のスケーラビリティは、GWASデータセットなどの実世界のハイパーディメンションデータにおいてどうか？

主な発見

• 提案された結合MCMCアルゴリズムは、10万の共変量と2,000件のサンプルを有するハイパーディメンションのGWASデータセットにおいて、スケーラブルな性能を達成した。
• 自由度が1より大きい半t事前分布は、他の縮約事前分布と比較して、より優れた計算効率を示した。
• 結合メカニズムにより、ハイパーディメンション設定における効果的な収束診断と並列計算が可能になった。
• 結合チェインを用いた実用的な収束モニタリングにより、ヒューリスティクスへの依存が軽減された。
• 半t事前分布の事後分布集中性は統計的に正当化されており、ハイパーディメンション回帰におけるその利用を支持する。
• 結果から、事前分布の選択がハイパーディメンションベイズ推論における計算スケーラビリティと統計的信頼性の両方に顕著な影響を与えることが確認された。