[论文解读] Fast model-fitting of Bayesian variable selection regression using the iterative complex factorization algorithm

Quan Zhou, Yongtao Guan|arXiv (Cornell University)|Jun 29, 2017

Genetic and phenotypic traits in livestock参考文献 2被引用 4

一句话总结

本文提出迭代复数分解（ICF）算法，以加速贝叶斯变量选择回归（BVSR）——这是遗传数据分析中的关键方法。通过在复数域中使用新型矩阵分解求解惩罚线性系统，ICF 相较于传统方法（如 Gauss-Seidel 和 Cholesky 分解）实现了 10–100 倍的加速，实现近乎瞬时收敛并保证精度，使全基因组关联研究的可扩展重新分析成为可能。

ABSTRACT

Bayesian variable selection regression (BVSR) is able to jointly analyze genome-wide genetic datasets, but the slow computation via Markov chain Monte Carlo (MCMC) hampered its wide-spread usage. Here we present a novel iterative method to solve a special class of linear systems, which can increase the speed of the BVSR model-fitting tenfold. The iterative method hinges on the complex factorization of the sum of two matrices and the solution path resides in the complex domain (instead of the real domain). Compared to the Gauss-Seidel method, the complex factorization converges almost instantaneously and its error is several magnitude smaller than that of the Gauss-Seidel method. More importantly, the error is always within the pre-specified precision while the Gauss-Seidel method is not. For large problems with thousands of covariates, the complex factorization is 10 -- 100 times faster than either the Gauss-Seidel method or the direct method via the Cholesky decomposition. In BVSR, one needs to repetitively solve large penalized regression systems whose design matrices only change slightly between adjacent MCMC steps. This slight change in design matrix enables the adaptation of the iterative complex factorization method. The computational innovation will facilitate the wide-spread use of BVSR in reanalyzing genome-wide association datasets.

研究动机与目标

• 解决由缓慢的马尔可夫链蒙特卡洛（MCMC）采样引起的贝叶斯变量选择回归（BVSR）中的计算瓶颈。
• 开发一种更快、更准确的迭代方法，用于求解 BVSR 中出现的大规模惩罚线性系统。
• 通过减少计算时间，使 BVSR 广泛应用于大规模全基因组关联研究（GWAS）。
• 提供一种数值稳定且收敛迅速的替代方法，以替代现有的迭代求解器（如 Gauss-Seidel）和直接方法（如 Cholesky 分解）。

提出的方法

• 该方法通过迭代复数分解（ICF）求解惩罚回归系统 $\hat{\bm{\beta}} = (\bm{X}_{\bm{\gamma}}^t\bm{X}_{\bm{\gamma}} + \sigma^{-2}_{\beta}\bm{I})^{-1}\bm{X}_{\bm{\gamma}}^t\bm{y}$。
• ICF 通过在复数域中分解两个矩阵的和来运行：$\bm{R}^t\bm{R} + \bm{\Sigma}$，其中 $\bm{R}$ 是从设计矩阵导出的矩阵，$\bm{\Sigma}$ 是精度参数的对角矩阵。
• 该算法使用涉及反对称矩阵 $\bm{S} = \bm{R}^t\bm{\Sigma} - \bm{\Sigma}\bm{R}$ 的复数更新规则，通过复平面上的旋转和缩放变换实现快速收敛。
• 收敛性已得到证明，并在预设误差容差范围内保证，而 Gauss-Seidel 可能发散或无法达到精度目标。
• 该方法利用了在 BVSR 的 MCMC 步骤中设计矩阵仅发生微小变化的事实，从而支持热启动并可在迭代间重用分解结果。
• 该实现已集成到 fastBVSR 软件包中，其速度比以往的 BVSR 实现快 10–100 倍。

实验结果

研究问题

• RQ1 在复数域中的迭代方法是否能在速度和精度上超越经典实数域迭代求解器（如 Gauss-Seidel）在惩罚回归系统中的表现？
• RQ2 迭代复数分解方法在包含数千个协变量的大规模基因组数据集中是否能保持收敛性和精度保证？
• RQ3 ICF 算法在全基因组关联研究的贝叶斯变量选择回归（BVSR）中能在多大程度上减少计算时间？
• RQ4 在高维问题中，ICF 方法与 Cholesky 分解等直接方法相比，在速度和数值稳定性方面表现如何？

主要发现

• 迭代复数分解（ICF）方法几乎瞬时收敛，即使在包含数千个协变量的大规模系统中也仅需少量迭代即可收敛。
• ICF 在大规模 BVSR 问题中相较 Gauss-Seidel 方法和直接 Cholesky 分解均实现了 10–100 倍的加速。
• ICF 的误差比 Gauss-Seidel 小几个数量级，且保证在预设精度阈值内，而 Gauss-Seidel 可能无法收敛或无法达到精度目标。
• 即使在 MCMC 步骤之间设计矩阵发生微小变化时，该方法仍能保持高精度和稳定性，从而支持高效的热启动和分解重用。
• 集成 ICF 的 fastBVSR 软件使以往计算上不可行的大规模全基因组关联研究（GWAS）和 eQTL 数据集的实用重新分析成为可能。
• 该方法可推广至其他需要重复求解类似惩罚线性系统的模型，如贝叶斯稀疏线性混合模型（BSLMM）和 BVSR 中的变分推断。