[논문 리뷰] Scalable MCMC for Bayes Shrinkage Priors

James E. Johndrow, Paulo Orenstein|arXiv (Cornell University)|2017. 05. 02.

Bayesian Methods and Mixture Models인용 수 11

한 줄 요약

이 논문은 베이즈 스hrinkage prior를 갖는 베이지안 고차원 모델을 위한 확장 가능한 MCMC 알고리즘을 제안한다. 블록 기반 깁스 샘플링, 메트로폴리스-해스팅스, 슬라이스 샘플링을 조합하여 동일한 계산 비용에서 기존 방법보다 50에서 100배 높은 효과적 표본 크기를 달성하며, 차원이 증가함에 따라 수렴 속도가 빠르게 악화되는 것보다 훨씬 느리게 악화된다. 이에 따라 최대 20,000개의 예측 변수를 가진 문제에서 효율적인 추론이 가능해진다.

ABSTRACT

Gaussian scale mixture priors are frequently employed in Bayesian analysis of high-dimensional models, and a theoretical literature exists showing optimal risk properties of several members of this family in $p \gg n$ settings when the truth is sparse. However, while implementations of frequentist methods such as the Lasso can scale to dimension in the hundreds of thousands, corresponding Bayesian methods that use MCMC for computation are often limited to problems at least an order of magnitude smaller. This is in large part due to convergence toward unity of the spectral gap of the associated Markov kernel as the dimension grows. Here we propose an MCMC algorithm for computation in these models that combines blocked Gibbs, Metropolis-Hastings, and slice sampling. Our algorithm has computational cost per step comparable to the best existing alternatives, but superior convergence properties, giving effective sample sizes of 50 to 100 fold larger for identical computation time. Moreover, the convergence rate of our algorithm deteriorates much more slowly than alternatives as the dimension grows. We illustrate the scalability of the algorithm in simulations with up to 20,000 predictors.

연구 동기 및 목표

• 고차원 베이지안 모델에 대한 MCMC의 확장성 문제를 해결하기 위해, 가우시안 스케일 혼합 prior를 갖는 모델에 적용 가능한 알고리즘 개발.
• 차원이 증가함에 따라 기존 MCMC 방법의 스펙트럴 갭과 수렴 속도가 급격히 악화되는 문제를 해결하기 위해.
• 고차원 환경에서도 단위 계산 시간당 높은 효과적 표본 크기를 유지할 수 있는 MCMC 알고리즘 개발.
• 라소와 같은 빈도주의 방법이 효율적으로 작동하는 $p \gg n$ 문제에서 수천 개의 예측 변수를 가진 실질적인 베이지안 추론을 가능하게 하기 위해.

제안 방법

• 블록 기반 깁스 샘플링을 통해 파라미터 블록을 효율적으로 갱신한다.
• 혼합 성질을 향상시키기 위해 새로운 상태를 제안하는 메트로폴리스-해스팅스 단계를 통합한다.
• 도함수 정보가 필요 없이도 스hrinkage prior의 스케일 혼합 구조를 처리하기 위해 슬라이스 샘플링을 통합한다.
• 랜덤 워크 행동을 줄이고 기하학적 에르고딕성을 향상시켜 유리한 스펙트럴 갭을 유지하도록 설계된다.
• 반복 계산 비용은 기존 방법과 유사하게 유지되지만, 수렴 성질은 크게 향상된다.
• 희소 진실 구조를 활용하여, 베이즈 스hrinkage prior의 구조를 활용해 혼합 성질과 효과적 표본 크기를 향상시킨다.

실험 결과

연구 질문

• RQ1 고차원 스hrinkage prior에 대한 MCMC는 수천 개의 예측 변수까지 확장 가능한가?
• RQ2 제안된 MCMC 알고리즘이 기존 방법에 비해 단위 계산 시간당 효과적 표본 크기에서 어떻게 성능을 냈는가?
• RQ3 이 알고리즘의 수렴 속도는 기존 대안보다 차원 증가에 따라 더 천천가 악화되는가?
• RQ4 고차원 희소 모델에서 이 알고리즘이 얼마나 높은 혼합 효율성을 유지할 수 있는가?

주요 결과

• 제안된 MCMC 알고리즘은 동일한 계산 비용에서 기존 방법보다 50에서 100배 높은 효과적 표본 크기를 달성한다.
• 기존 대안 대비 알고리즘의 수렴 속도가 차원 증가에 따라 훨씬 더 느리게 악화된다.
• 알고리즘은 최대 20,000개의 예측 변수를 가진 문제에 대해 효과적으로 확장 가능하며, 고차원 환경에서 실용적인 타당성을 입증한다.
• 블록 기반 깁스, 메트로폴리스-해스팅스, 슬라이스 샘플링의 조합은 뛰어난 혼합 성질과 랜덤 워크 행동 감소를 이룬다.