[논문 리뷰] Prior-preconditioned conjugate gradient for accelerated Gibbs sampling in "large n & large p" sparse Bayesian logistic regression models

Akihiko Nishimura, Marc A. Suchard|arXiv (Cornell University)|2018. 10. 29.

Statistical Methods and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 고차원 희소 베이지안 로지스틱 회귀에서 n ≈ 10^5 및 p ≈ 10^4–10^5일 때 게이블스 샘플링을 가속화하기 위해 사전-전처리된 공액 그래디언트(PCA) 방법을 제안한다. 수축 사전의 구조를 활용해 정밀도 행렬 Φ를 전처리함으로써, 명시적 분해를 피하고 대신 저비용 행렬-벡터 곱을 통해 Φβ = b를 공액 그래디언트로 푸는 방식을 채택하여, n=72,489 및 p=22,175인 실제 연구에서 10배의 속도 향상을 달성하였다.

ABSTRACT

In a modern observational study based on healthcare databases, the number of observations typically ranges in the order of 10^5 ~ 10^6 and that of the predictors in the order of 10^4 ~ 10^5. Despite the large sample size, data rarely provide sufficient information to reliably estimate such a large number of parameters. Sparse regression provides a potential solution. There is a rich literature on desirable theoretical properties of Bayesian approaches based on shrinkage priors. On the other hand, the development of scalable methods for the required posterior computation has largely been limited to the p >> n case. Shrinkage priors make the posterior amenable to Gibbs sampling, but a major computational bottleneck arises from the need to sample from a high-dimensional Gaussian distribution at each iteration. Despite a closed-form expression for the precision matrix $Φ$, computing and factorizing such a large matrix is computationally expensive nonetheless. In this article, we present a novel algorithm to speed up this bottleneck based on the following observation: we can cheaply generate a random vector $b$ such that the solution to the linear system $Φβ= b$ has the desired Gaussian distribution. We can then solve the linear system by the conjugate gradient (CG) algorithm through the matrix-vector multiplications by $Φ$, without ever explicitly inverting $Φ$. Practical performance of CG, however, depends critically on appropriate preconditioning of the linear system; we turn CG into an effective algorithm for sparse Bayesian regression by developing a theory of prior-preconditioning. We apply our algorithm to a large-scale observational study with n = 72,489 and p = 22,175, designed to assess the relative risk of intracranial hemorrhage from two alternative blood anti-coagulants. Our algorithm demonstrates an order of magnitude speed-up in the posterior computation.

연구 동기 및 목표

• 대규모 n과 p를 가진 고차원 희소 베이지안 로지스틱 회귀 모델에서 게이블스 샘플링의 계산적 병목 현상을 해결하기 위해.
• 조건부 사후 분포에서 고차원 정밀도 행렬 Φ의 역행렬 또는 분해에 드는 금지된 비용을 극복하기 위해.
• 수축 사전의 구조를 활용해 효율적이고 확장 가능한 사후 계산 방법을 개발하기 위해.
• 샘플링 정확도나 수렴 성질을 훼손하지 않으면서도 사후 샘플링의 속도를 크게 향상시키기 위해.

제안 방법

• 조건부 사후에서 정밀도 행렬 Φ를 갖는 선형 시스템 Φβ = b를 해결하기 위해 새로운 사전-전처리된 공액 그래디언트(PCG) 알고리즘을 제안한다.
• 다변량 정규분포에서 정밀도 행렬 Φ를 갖는 샘플링은 Φβ = b를 푸는 것으로 줄일 수 있으며, 이는 명시적 행렬 역행렬 계산을 피할 수 있음을 이용한다.
• 수축 사전의 구조에서 유도된 사전-전처리행렬을 사용하여 Φ의 조건수를 개선함으로써 공액 그래디언트의 수렴 속도를 향상시킨다.
• 전체 저장 또는 분해 없이도 사전에 의해 유도된 낮은 랭크 구조를 활용해 Φ에 대한 행렬-벡터 곱을 효율적으로 수행한다.
• 희소 베이지안 모델에 특화된 효과적인 전처리행렬을 설계하기 위한 사전-전처리 이론을 제안한다.
• PCG 솔버를 게이블스 샘플링 프레임워크에 통합하여 고차원 로지스틱 회귀에서 사후 탐색을 가속화한다.

실험 결과

연구 질문

• RQ1 고차원 희소 베이지안 모델에서 사후 샘플링을 가속화하기 위해 공액 그래디언트 방법을 사전 정보로 효과적으로 전처리할 수 있는가?
• RQ2 정밀도 행렬의 명시적 분해 없이도 고차원 정규분포 샘플링 문제의 계산 비용을 어떻게 줄일 수 있는가?
• RQ3 희소 베이지안 로지스틱 회귀에서 사전-전처리가 공액 그래디언트의 수렴 속도와 계산 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 n > 70,000 및 p > 20,000인 실제 데이터셋에 대해 확장 가능할 수 있는가 동시에 샘플링 정확도를 유지할 수 있는가?
• RQ5 기존의 공액 그래디언트 또는 직접적 방법에 비해 사전-전처리가 사후 계산의 실질적인 속도 향상에 기여하는가?

주요 결과

• 제안된 사전-전처리된 공액 그래디언트(PCG) 방법은 기존 접근법에 비해 사후 계산 속도를 한 계단 이상 빠르게 한다.
• 정밀도 행렬 Φ의 명시적 분해를 피함으로써 고차원 환경에서 메모리 및 계산 비용을 모두 감소시킨다.
• 사전-전처리의 사용은 공액 그래디언트 알고리즘의 수렴 속도를 크게 향상시켜 대규모 모델에 실용적으로 적용 가능하게 한다.
• n = 72,489 및 p = 22,175인 실제 연구에서 알고리즘이 샘플링 시간을 10배 감소시켰다.
• Φβ = b의 해를 통해 목표 정규분포에서 정확하게 표본을 추출함으로써 사후 샘플링의 정확성을 유지한다.
• 대규모 n과 대규모 p 환경에서 효과적으로 확장 가능하여, 희소 베이지안 로지스틱 회귀에서의 가능하고 실용적인 MCMC 추론을 가능하게 한다.