[論文レビュー] Prior-preconditioned conjugate gradient method for accelerated Gibbs sampling in "large $n$ & large $p$" Bayesian sparse regression.

Akihiko Nishimura, Marc A. Suchard|arXiv (Cornell University)|Oct 29, 2018

Statistical Methods and Inference参考文献 62被引用数 9

ひとこと要約

この論文は、高次元ベイジアンスパース回帰におけるギブスサンプリングの計算ボトルネックを軽減するため、事前分布に依存するプリコンディショニングを施した共役勾配法（PP-CG）を提案する。ここで、高次元ガウス分布からのサンプリングが主な計算負荷を占める。スパースな事前分布の構造を活用することで、精度行列Φの明示的因数分解を回避し、ランダムベクトルbを安価に生成してCG法によりΦβ = bを解く。これにより、後退推定において最大10倍の高速化が達成され、実世界の研究においてn = 72,489、p = 22,175の設定で計算時間を2週間から1日未塔に短縮した。

ABSTRACT

In a modern observational study based on healthcare databases, the number of observations and of predictors typically range in the order of 105–106 and of 104–105. Despite the large sample size, data rarely provide sufficient information to reliably estimate such a large number of parameters. Sparse regression techniques provide potential solutions, one notable approach being the Bayesian method based on shrinkage priors. In the “large n and large p” setting, however, the required posterior computation encounters a bottleneck at repeated sampling from a high-dimensional Gaussian distribution, whose precision matrix Φ is expensive to compute and factorize. In this article, we present a novel algorithm to speed up this bottleneck based on the following observation: We can cheaply generate a random vector b such that the solution to the linear system Φβ=b has the desired Gaussian distribution. We can then solve the linear system by the conjugate gradient (CG) algorithm through matrix-vector multiplications by Φ; this involves no explicit factorization or calculation of Φ itself. Rapid convergence of CG in this context is guaranteed by the theory of prior-preconditioning we develop. We apply our algorithm to a clinically relevant large-scale observational study with n=72, 489 patients and p=22, 175 clinical covariates, designed to assess the relative risk of adverse events from two alternative blood anti-coagulants. Our algorithm demonstrates an order of magnitude speed-up in posterior inference, in our case cutting the computation time from two weeks to less than a day. Supplementary materials for this article are available online.

研究の動機と目的

• nとpがともに大きい（例：n ~ 10^5、p ~ 10^4–10^5）状況下で、高次元ベイジアンスパース回帰におけるギブスサンプリングの計算ボトルネックを解消すること。
• 精度行列Φ = XᵀΩX + τ⁻²Λ⁻²を用いた高次元ガウス分布からのサンプリングにおける、コレスキー因数分解のO(np² + p³)の計算コストを克服すること。
• 明示的な因数分解を回避し、密行列演算に依存するのを減らす、標準的なMCMCのスケーラブルな代替手法を開発すること。
• データのスパarsityとまれな結果が計算的課題を悪化させる大規模な観察研究（例：比較的薬物安全性分析）において、効率的な後退推定を可能にすること。
• n = 72,489人の被験者とp = 22,175の共変量を有する実世界の臨床研究において、実用的な高速化を示すこと。

提案手法

• 精度行列Φを明示的に計算または因数分解せずに、高次元ガウス分布β | ω, λ, τ, y, X ∼ N(Φ⁻¹XᵀΩỹ, Φ⁻¹)からのサンプリングのための新しいアルゴリズムを提案する。
• 共役勾配（CG）法を用いてΦβ = bを解く。ここで、bは解βが所望のガウス分布に従うように生成された確率的ベクトルである。
• 事前分布に依存するプリコンディショニング理論を活用し、Φの固有値構造とβの階層的事前分布の構造を活かして、CGの収束を迅速化する。
• Φやそのコレスキー分解を計算する必要なく、解βの期待値と分散が正しくなるようにbを構築する。
• CG反復においてΦとの行列-ベクトル積を用いる。これはXがスパースであっても効率的であり、不規則なメモリアクセスによる遅延を回避する。
• ポlya-gamma変数を用いたデータ拡張により、スパースロジスティック回帰におけるギブスサンプリングフレームワークにPP-CGサンプラーを統合する。

実験結果

リサーチクエスチョン

• RQ1 精度行列Φを明示的に計算または因数分解せずに、高次元ベイジアンスパース回帰におけるギブスサンプリングを高速化することは可能か？
• RQ2 Φβ = bをCG法で解くことで、目的の高次元ガウス分布からのサンプリングが得られるようなランダムベクトルbを生成することは可能か？
• RQ3 事前分布に依存するプリコンディショニング理論は、Φが悪条件であるか高次元である場合でも、CGの収束を迅速に保証するのか？
• RQ4 提案手法は、n ≫ pで設計行列Xがスパースな大規模な実世界の観察研究において、顕著な高速化を達成できるか？
• RQ5 臨床的に関連性のある設定において、PP-CG法は標準的なギブスサンプラーと比較して、計算時間と収束性に優れているか？

主な発見

• 提案された事前分布に依存するプリコンディショニングを施した共役勾配法（PP-CG）は、後退推定において1桁の高速化を達成し、n = 72,489、p = 22,175の実世界研究において、計算時間を2週間以上から1日未塔に短縮した。
• 精度行列Φの明示的因数分解を回避することで、1反復あたりの計算コストをO(np² + p³)からO(knp)に削減した。ここでkはCG反復回数である。
• 事前分布に依存するプリコンディショニング理論による理論的保証のおかげで、PP-CG法はΦの固有値構造と階層的事前分布構造を活かして、迅速に収束する。
• 抗凝固薬安全性に関する臨床研究において、PP-CGサンプラーは標準的なギブスサンプラーと比較して10倍の高速化を達成した。標準的なギブスサンプラーは10,000反復に200時間以上を要した。
• 本手法は設計行列Xのスパarsityに強く、データがスパースであったり結果がまれであっても、医療データベースで一般的な状況においても効率的である。
• 本手法は、後退条件付き分布がガウス分布であり、精度行列がXᵀΩX + τ⁻²Λ⁻²として表現できる任意のモデルに一般化可能であり、他のスパース化事前分布モデルにも適用可能である。