[논문 리뷰] Bayes Shrinkage at GWAS scale: Convergence and Approximation Theory of a Scalable MCMC Algorithm for the Horseshoe Prior

James E. Johndrow, Paulo Orenstein외 1명|arXiv (Cornell University)|2017. 05. 02.

Statistical Methods and Inference참고 문헌 40인용 수 23

한 줄 요약

이 논문은 고차원 베이지안 회귀에서 말발굽 사전(prior)에 대한 확장 가능한 MCMC 알고리즘을 제안하며, 블록 갱신과 행렬 근사 기법을 활용해 기하학적 혼합성지수(geometric ergodicity)를 달성하고, 속도 향상 효과를 기대할 수 있다. 이 방법은 GWAS 규모의 문제(N=2,267, p=98,385)에서 정확한 사후 추론을 가능하게 하며, 기존 방법보다 수렴 속도가 빠르고, 평균 제곱 오차가 낮으며, 신뢰구간 커버리지가 향상된다.

ABSTRACT

The horseshoe prior is frequently employed in Bayesian analysis of high-dimensional models, and has been shown to achieve minimax optimal risk properties when the truth is sparse. While optimization-based algorithms for the extremely popular Lasso and elastic net procedures can scale to dimension in the hundreds of thousands, algorithms for the horseshoe that use Markov chain Monte Carlo (MCMC) for computation are limited to problems an order of magnitude smaller. This is due to high computational cost per step and growth of the variance of time-averaging estimators as a function of dimension. We propose two new MCMC algorithms for computation in these models that have improved performance compared to existing alternatives. One of the algorithms also approximates an expensive matrix product to give orders of magnitude speedup in high-dimensional applications. We prove that the exact algorithm is geometrically ergodic, and give guarantees for the accuracy of the approximate algorithm using perturbation theory. Versions of the approximation algorithm that gradually decrease the approximation error as the chain extends are shown to be exact. The scalability of the algorithm is illustrated in simulations with problem size as large as $N=5,000$ observations and $p=50,000$ predictors, and an application to a genome-wide association study with $N=2,267$ and $p=98,385$. The empirical results also show that the new algorithm yields estimates with lower mean squared error, intervals with better coverage, and elucidates features of the posterior that were often missed by previous algorithms in high dimensions, including bimodality of posterior marginals indicating uncertainty about which covariates belong in the model.

연구 동기 및 목표

• 고차원 설정, 특히 p ≫ N 인 GWAS에서 말발굽 사전에 대한 확장 가능한 MCMC 알고리즘의 부재를 해결하기 위해.
• 기존 MCMC 샘플러에서 말발굽 사전을 위한 비용이 많이 드는 행렬 연산과 느린 혼합성 문제를 해결하기 위해.
• 제안된 정확한 알고리즘의 기하학적 혼합성지수를 입증하여 빠른 수렴과 타당한 점근적 추론을 보장하기 위해.
• 행렬 곱 연산 근사를 통해 계산 비용을 줄이되, 이론적 정확도 보장을 유지하는 근사 알고리즘을 개발하기 위해.
• 고차원 시뮬레이션 및 실제 GWAS 데이터에서의 경험적 우수성을 입증하기 위해, 사후 분포의 이중모드성(bimodality) 탐지 및 개선된 구간 커버리지 성능을 확보하기 위해.

제안 방법

• 혼합성지수 향상을 위해 β, σ², ξ, η를 함께 갱신하는 블록 갱신 기반의 게비스 샘플링을 사용한다.
• 기하학적 혼합성지수를 증명하기 위해 리아푸노프 함수를 구성하며, 이 함수는 고차원 설정에서도 βj²σ⁻²이 0이나 ∞에서 벗어나도록 제어한다.
• η⁻¹이 대략 희소(sparse)일 경우, 비용이 많이 드는 WDW′ 행렬 곱 연산을 신속한 희소 근사로 대체한다.
• 편미분 이론을 적용하여 근사 알고리즘과 정확 알고리즘의 불변 측도 사이의 오차를 경계함으로써 정확도를 보장한다.
• 점차 감소하는 근사 오차 계획을 제안하며, 이는 극한에서 정확한 성질을 유지하므로 점근적 타당성이 보존된다.
• 이 방법은 인위적 고차원 데이터(N=5,000, p=50,000)와 실제 GWAS 데이터셋(N=2,267, p=98,385)에 모두 구현 및 테스트되었다.

실험 결과

연구 질문

• RQ1 말발굽 사전에 대한 확장 가능한 MCMC 알고리즘을 설계할 수 있는가? 이 알고리즘은 고차원 설정에서도 기하학적 혼합성지수를 유지할 수 있는가?
• RQ2 말발굽 사후 분포 갱신에서 비용이 많이 드는 행렬 연산의 계산 비용을 정확도를 희생시키지 않고 어떻게 줄일 수 있는가?
• RQ3 말발굽 사전 맥락에서 근사 MCMC 알고리즘의 정확도에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 제안된 알고리즘이 고차원 회귀에서 기존 방법보다 사후 추정 정확도와 구간 커버리지 성능을 향상시키는가?
• RQ5 이 알고리즘은 변수 선택에 대한 불확실성을 나타내는 복잡한 사후 특성, 예를 들어 마진 분포의 이중모드성을 탐지할 수 있는가?

주요 결과

• 정확한 MCMC 알고리즘은 기하학적 혼합성지수를 입증하여, 시간 평균 추정자에 대한 빠른 수렴과 타당한 중심극한정리의 적용을 보장한다.
• 근사 알고리즘은 WDW′ 행렬 곱 연산을 근사함으로써, 특히 η⁻¹이 희소한 경우 수개의 지수 차수 속도 향상을 달성한다.
• 편미분 이론을 통해 근사 알고리즘의 불변 측도가 정확 알고리즘의 불변 측도로 수렴함을 보이며, 오차 경계를 제공한다.
• 경험적 결과는 기존 방법보다 평균 제곱 오차가 낮고, 특히 고차원 설정에서 신뢰구간 커버리지가 향상됨을 보여준다.
• 알고리즘은 성공적으로 이중모드 사후 마진 분포를 드러내어 변수 선택에 대한 불확실성을 반영하였으며, 이는 이전 알고리즘이 자주 간과했던 특성이다.
• 이 방법은 GWAS 규모 문제에까지 스케일링 가능하며, p=98,385개의 예측변수와 N=2,267개의 관측치를 포함한 데이터를 성공적으로 분석하여 정확도와 계산 효율성에서 기존 접근법을 능가한다.