[論文レビュー] Prior-preconditioned conjugate gradient for accelerated Gibbs sampling in "large n & large p" sparse Bayesian logistic regression models

Akihiko Nishimura, Marc A. Suchard|arXiv (Cornell University)|Oct 29, 2018

Statistical Methods and Bayesian Inference被引用数 6

ひとこと要約

本稿では、n ≈ 10^5 および p ≈ 10^4–10^5 の高次元スパースベイジアンロジスティック回帰において、ギブスポーラムの高速化を目的として、事前分布に基づく前処理を施した共役勾配法（PCG）を提案する。スパースリッジ事前分布の構造を活用して精度行列 Φ の前処理を行うことで、明示的な因子分解を回避し、代わりに行列ベクトル積を安価に計算することで Φβ = b を共役勾配法で解く。実世界の研究において n=72,489、p=22,175 の条件下で10倍の高速化を達成した。

ABSTRACT

In a modern observational study based on healthcare databases, the number of observations typically ranges in the order of 10^5 ~ 10^6 and that of the predictors in the order of 10^4 ~ 10^5. Despite the large sample size, data rarely provide sufficient information to reliably estimate such a large number of parameters. Sparse regression provides a potential solution. There is a rich literature on desirable theoretical properties of Bayesian approaches based on shrinkage priors. On the other hand, the development of scalable methods for the required posterior computation has largely been limited to the p >> n case. Shrinkage priors make the posterior amenable to Gibbs sampling, but a major computational bottleneck arises from the need to sample from a high-dimensional Gaussian distribution at each iteration. Despite a closed-form expression for the precision matrix $Φ$, computing and factorizing such a large matrix is computationally expensive nonetheless. In this article, we present a novel algorithm to speed up this bottleneck based on the following observation: we can cheaply generate a random vector $b$ such that the solution to the linear system $Φβ= b$ has the desired Gaussian distribution. We can then solve the linear system by the conjugate gradient (CG) algorithm through the matrix-vector multiplications by $Φ$, without ever explicitly inverting $Φ$. Practical performance of CG, however, depends critically on appropriate preconditioning of the linear system; we turn CG into an effective algorithm for sparse Bayesian regression by developing a theory of prior-preconditioning. We apply our algorithm to a large-scale observational study with n = 72,489 and p = 22,175, designed to assess the relative risk of intracranial hemorrhage from two alternative blood anti-coagulants. Our algorithm demonstrates an order of magnitude speed-up in the posterior computation.

研究の動機と目的

• 大規模 n および p を有する高次元スパースベイジアンロジスティック回帰モデルにおけるギブスポーラムの計算ボトルネックを解消すること。
• 条件付き事後分布における高次元精度行列 Φ の逆行列計算や因子分解の非現実的なコストを克服すること。
• スパースリッジ事前分布の構造を活用した、効率的かつスケーラブルな事後分布推定手法の開発。
• サンプリングの正確性や収束特性を損なわずに、事後分布サンプリングの高速化を達成すること。

提案手法

• 条件付き事後分布からの精度行列 Φ に対応する線形方程式 Φβ = b を解くための、新規の事前分布に基づく前処理付き共役勾配（PCG）アルゴリズムを提案する。
• 多変量正規分布からのサンプリングが、ランダムベクトル b に対して Φβ = b を解く問題に還元できることを活用し、明示的な行列逆行列計算を回避する。
• スパースリッジ事前分布の構造から導出される事前分布前処理器を用いて、Φ の条件数を改善し、共役勾配法の収束性を向上させる。
• 事前分布が誘導する低ランク構造を活用して、Φ との行列ベクトル積を効率的に計算し、完全な格納や因子分解を回避する。
• スパースベイジアンモデルに特化した効果的な前処理器の構築を支援する、事前分布前処理の理論的枠組みを提唱する。
• PCGソルバをギブスポーラムフレームワークに統合し、高次元ロジスティック回帰における事後分布探索の高速化を実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元スパースベイジアンモデルにおける事後分布サンプリングの高速化を、事前情報に基づく前処理を施した共役勾配法で達成できるか？
• RQ2 精度行列の明示的因子分解なしに、高次元ガウス分布サンプリング問題の計算コストをどのように低減できるか？
• RQ3 事前分布前処理が、スパースベイジアンロジスティック回帰における共役勾配法の収束速度と計算効率に与える影響は何か？
• RQ4 本手法は、n > 70,000 および p > 20,000 の実世界データセットに対してもスケーリング可能であり、サンプリングの正確性を維持できるか？
• RQ5 標準的な共役勾配法や直接法と比較して、事前分布前処理は事後分布推定の実行速度に顕著な向上をもたらすか？

主な発見

• 提案された事前分布前処理付き共役勾配（PCG）法は、標準的手法と比較して、事後分布推定の計算を1桁の速度向上を達成した。
• 精度行列 Φ の明示的因子分解を回避することで、高次元設定下でのメモリ使用量と計算コストの両方を削減した。
• 事前分布前処理の導入により、共役勾配法の収束速度が顕著に向上し、大規模モデルに対しても実用的になった。
• n = 72,489 および p = 22,175 の実世界研究において、アルゴリズムがサンプリング時間を10倍短縮した。
• Φβ = b の解法により、ターゲットガウス分布からの正しいサンプリングが保証されたため、事後分布サンプリングの正確性が維持された。
• 本手法は、大規模な n および大規模な p の環境においても効果的にスケーリングでき、スパースベイジアンロジスティック回帰におけるMCMC推論を現実可能にした。