[論文レビュー] Fast model-fitting of Bayesian variable selection regression using the iterative complex factorization algorithm

Quan Zhou, Yongtao Guan|arXiv (Cornell University)|Jun 29, 2017

Genetic and phenotypic traits in livestock参考文献 2被引用数 4

ひとこと要約

本稿では、遺伝的データ解析における重要な手法であるベイジアン変数選択回帰（BVSR）の高速化を目的として、反復的複素因数分解（ICF）アルゴリズムを導入する。複素数領域でペナルティ付き線形システムを解くための新規な行列因数分解を用いることで、ガウス＝ザイデル法やコレスキー分解といった従来手法に比べて10–100倍の高速化を達成し、ほぼ即時の収束と保証された精度を実現する。これにより、全ゲノム関連解析（GWAS）のスケーラブルな再分析が可能になる。

ABSTRACT

Bayesian variable selection regression (BVSR) is able to jointly analyze genome-wide genetic datasets, but the slow computation via Markov chain Monte Carlo (MCMC) hampered its wide-spread usage. Here we present a novel iterative method to solve a special class of linear systems, which can increase the speed of the BVSR model-fitting tenfold. The iterative method hinges on the complex factorization of the sum of two matrices and the solution path resides in the complex domain (instead of the real domain). Compared to the Gauss-Seidel method, the complex factorization converges almost instantaneously and its error is several magnitude smaller than that of the Gauss-Seidel method. More importantly, the error is always within the pre-specified precision while the Gauss-Seidel method is not. For large problems with thousands of covariates, the complex factorization is 10 -- 100 times faster than either the Gauss-Seidel method or the direct method via the Cholesky decomposition. In BVSR, one needs to repetitively solve large penalized regression systems whose design matrices only change slightly between adjacent MCMC steps. This slight change in design matrix enables the adaptation of the iterative complex factorization method. The computational innovation will facilitate the wide-spread use of BVSR in reanalyzing genome-wide association datasets.

研究の動機と目的

• ベイジアン変数選択回帰（BVSR）における計算ボトル neck を引き起こす、遅いマルコフ連鎖モンテカルロ（MCMC）サンプリングの問題を解決すること。
• BVSRで生じる大規模なペナルティ付き線形システムを解く、より高速で正確な反復的手法を開発すること。
• 計算時間を短縮することで、BVSRを大規模な全ゲノム関連解析（GWAS）への広範な応用に可能にする。
• ガウス＝ザイデル法やコレスキー分解といった既存の反復的ソルバーや直接法に対する、数値的に安定でかつ高速に収束する代替手法を提供すること。

提案手法

• 本手法は、反復的複素因数分解（ICF）を用いて、ペナルティ付き回帰システム $\hat{\bm{\beta}} = (\bm{X}_{\bm{\gamma}}^t\bm{X}_{\bm{\gamma}} + \sigma^{-2}_{\beta}\bm{I})^{-1}\bm{X}_{\bm{\gamma}}^t\bm{y}$ を解く。
• ICFは、設計行列から導かれる行列 $\bm{R}$ と精度パラメータの対角行列 $\bm{\Sigma}$ の和 $\bm{R}^t\bm{R} + \bm{\Sigma}$ を複素数領域で因数分解することで動作する。
• アルゴリズムは、反対称行列 $\bm{S} = \bm{R}^t\bm{\Sigma} - \bm{\Sigma}\bm{R}$ を用いた複素数の更新ルールを採用しており、これにより複素平面における回転およびスケーリング変換が可能となり、収束が著しく速くなる。
• 収束は事前に定めた誤差許容範囲内で保証され、ガウス＝ザイデル法とは異なり、発散するか精度目標を満たさない可能性がある。
• MCMCステップにおける設計行列の変化はわずかであることに着目し、反復間で因子分解をウォームスタートおよび再利用可能である。
• 実装は fastBVSR ソフトウェアパッケージに統合されており、従来のBVSR実装に比べて10–100倍高速である。

実験結果

リサーチクエスチョン

• RQ1 複素数領域における反復的手法が、ガウス＝ザイデル法のような古典的実数領域反復ソルバーに比べ、ペナルティ付き回帰システムの速度と精度で優れているか。
• RQ2 反復的複素因数分解法が、数千の共変量を含む大規模なゲノムデータセットに対しても収束性と精度の保証を維持できるか。
• RQ3 ICFアルゴリズムが、全ゲノム関連解析におけるベイジアン変数選択回帰（BVSR）の計算時間をどの程度短縮できるか。
• RQ4 高次元問題において、コレスキー分解のような直接法と比較して、ICF法は速度と数値的安定性の点で優れているか。

主な発見

• 反復的複素因数分解（ICF）法は、数千の共変量を含む大規模システムですら、わずかな反復回数でほぼ即時の収束を達成する。
• ICFは、大規模なBVSR問題において、ガウス＝ザイデル法および直接的コレスキー分解の両方に対して10–100倍の高速化を達成する。
• ICFの誤差はガウス＝ザイデル法よりも数桁小さいが、ガウス＝ザイデル法とは異なり、事前に定めた精度しきい値内に保証的に収束する。
• 設計行列がMCMCステップ間でわずかに変化しても、高い精度と安定性を維持でき、効率的なウォームスタートと因子分解の再利用が可能になる。
• ICFを統合した fastBVSR ソフトウェアは、かつて計算的に不可能とされた大規模な全ゲノム関連解析（GWAS）およびeQTLデータセットの実用的再分析を可能にする。
• 本手法は、ベイジアンスパース線形混合モデル（BSLMM）やBVSRにおける変分ベイズ推論など、類似したペナルティ付き線形システムを繰り返し解く必要がある他のモデルへも一般化可能である。