[논문 리뷰] Fast model-fitting of Bayesian variable selection regression using the iterative complex factorization algorithm

Quan Zhou, Yongtao Guan|arXiv (Cornell University)|2017. 06. 29.

Genetic and phenotypic traits in livestock참고 문헌 2인용 수 4

한 줄 요약

이 논문은 유전체 데이터 분석에서 핵심적인 역할을 하는 베이지안 변수 선택 회귀(BVSR)의 계산 속도를 향상시키기 위해 반복적 복소수 분해(ICF) 알고리즘을 도입한다. 새로운 행렬 분해를 통해 복소수 도메인에서 정규화된 선형 시스템을 해결함으로써 ICF는 기존의 가우스세이델 및 콜레스키 분해와 같은 전통적 방법보다 10–100배 빠른 성능을 달성하며, 거의 즉각적인 수렴과 보장된 정밀도를 제공하여 전장 유전자 연관 분석(GWAS)의 확장 가능한 재분석을 가능하게 한다.

ABSTRACT

Bayesian variable selection regression (BVSR) is able to jointly analyze genome-wide genetic datasets, but the slow computation via Markov chain Monte Carlo (MCMC) hampered its wide-spread usage. Here we present a novel iterative method to solve a special class of linear systems, which can increase the speed of the BVSR model-fitting tenfold. The iterative method hinges on the complex factorization of the sum of two matrices and the solution path resides in the complex domain (instead of the real domain). Compared to the Gauss-Seidel method, the complex factorization converges almost instantaneously and its error is several magnitude smaller than that of the Gauss-Seidel method. More importantly, the error is always within the pre-specified precision while the Gauss-Seidel method is not. For large problems with thousands of covariates, the complex factorization is 10 -- 100 times faster than either the Gauss-Seidel method or the direct method via the Cholesky decomposition. In BVSR, one needs to repetitively solve large penalized regression systems whose design matrices only change slightly between adjacent MCMC steps. This slight change in design matrix enables the adaptation of the iterative complex factorization method. The computational innovation will facilitate the wide-spread use of BVSR in reanalyzing genome-wide association datasets.

연구 동기 및 목표

• 느린 마르코프 체인 몬테카를로(MCMC) 샘플링으로 인해 발생하는 베이지안 변수 선택 회귀(BVSR)의 계산 병목 현상을 해결하기 위해.
• BVSR에서 발생하는 대규모 정규화된 선형 시스템을 해결하기 위한 더 빠르고 정확한 반복적 방법을 개발하기 위해.
• 계산 시간을 줄여 대규모 전장 유전자 연관 분석(GWAS)에 대한 BVSR의 광범위한 적용을 가능하게 하기 위해.
• 기존의 반복적 해법(Gauss-Seidel)과 직접 해법(콜레스키 분해)에 비해 수치적으로 안정적이고 빠르게 수렴하는 대안을 제공하기 위해.

제안 방법

• ICF는 반복적 복소수 분해를 사용하여 정규화된 회귀 시스템 $\hat{\bm{\beta}} = (\bm{X}_{\bm{\gamma}}^t\bm{X}_{\bm{\gamma}} + \sigma^{-2}_{\beta}\bm{I})^{-1}\bm{X}_{\bm{\gamma}}^t\bm{y}$ 를 해결한다.
• ICF는 설계 행렬에서 유도된 행렬 $\bm{R}$ 과 정밀도 매개변수의 대각행렬 $\bm{\Sigma}$ 의 합인 $\bm{R}^t\bm{R} + \bm{\Sigma}$ 를 복소수 도메인에서 분해함으로써 작동한다.
• 알고리즘은 회전 및 스케일링 변환을 통해 복소 평면에서 빠른 수렴을 가능하게 하는 기울기 대칭 행렬 $\bm{S} = \bm{R}^t\bm{\Sigma} - \bm{\Sigma}\bm{R}$ 을 포함한 복소수 갱신 규칙을 사용한다.
• 수렴은 사전 정의된 오차 허용 범위 내에서 증명되고 보장되며, 가우스세이델과 달리 발산하거나 정밀도 목표를 충족하지 못할 수 있다.
• MCMC 단계에서 설계 행렬이 매우 미세하게만 변화하므로, 이 사실을 활용해 온전한 초기화(warm-starting)와 요인 분해의 재사용이 가능하다.
• 구현은 fastBVSR 소프트웨어 패키지에 통합되었으며, 이는 이전의 BVSR 구현보다 10–100배 더 빠른 성능을 보인다.

실험 결과

연구 질문

• RQ1 복소수 도메인에서의 반복적 방법이 정규화된 선형 시스템에 대해 기존 실수 도메인의 반복적 해법(Gauss-Seidel)보다 빠르고 정확한가?
• RQ2 반복적 복소수 분해 방법이 수천 개의 공변량을 포함한 대규모 유전체 데이터셋에서도 수렴성과 정밀도 보장을 유지하는가?
• RQ3 ICF 알고리즘이 전장 유전자 연관 분석(GWAS)의 베이지안 변수 선택 회귀(BVSR)에서 계산 시간을 얼마나 줄일 수 있는가?
• RQ4 고차원 문제에 대해 콜레스키 분해와 같은 직접 해법과 비교할 때 ICF 방법은 속도와 수치적 안정성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 반복적 복소수 분해(ICF) 방법은 거의 즉각적인 수렴을 보이며, 수천 개의 공변량을 포함한 대규모 시스템에서도 소수의 반복 수준에서 수렴한다.
• ICF는 대규모 BVSR 문제에서 가우스세이델 방법과 직접 콜레스키 분해 모두에 비해 10–100배의 속도 향상을 달성한다.
• ICF의 오차는 가우스세이델보다 수개의 주요 오차 범위가 작으며, 사전 정의된 정밀도 한계 내에 항상 유지됨을 보장한다. 반면 가우스세이델은 수렴하지 못하거나 정밀도 목표를 충족하지 못할 수 있다.
• 설계 행렬이 MCMC 단계 간에 약간만 변화하더라도, 이 방법은 높은 정확도와 안정성을 유지하며 효율적인 온전한 초기화와 요인 분해 재사용이 가능하다.
• ICF를 통합한 fastBVSR 소프트웨어는 이전에는 계산적으로 비현실적이었던 대규모 전장 유전자 연관 분석(GWAS) 및 eQTL 데이터셋의 실용적 재분석을 가능하게 한다.
• 이 방법은 베이지안 희소 선형 혼합 모델(BSLMM) 및 BVSR에서 변분 추론 등 유사한 정규화된 선형 시스템을 반복적으로 해결이 필요한 다른 모델로도 일반화 가능하다.