[논문 리뷰] GPU-accelerated Gibbs Sampling.

Alexander Terenin, Subo Dong외 1명|arXiv (Cornell University)|2016. 08. 15.

Markov Chains and Monte Carlo Methods인용 수 4

한 줄 요약

이 논문은 잠재 변수를 가진 교환 가능 모델을 위한 GPU 가속, 완전히 데이터 병렬화된 게이브스 샘플링 방법을 제시하며, 대규모 데이터셋에서 효율적인 베이지안 추론을 가능하게 한다. 말라리아 확률 회귀 모델에 적용하여 수천 개의 예측 변수와 수백만 개의 데이터 포인트에 대해 효과적으로 스케일링되며, 순차적 구현 대비 뚜렷한 성능 향상을 보인다.

ABSTRACT

Gibbs sampling is a widely used Markov Chain Monte Carlo (MCMC) method for numerically approximating integrals of interest in Bayesian statistics and other mathematical sciences. Many implementations of MCMC methods do not extend easily to parallel computing environments, as their inherently sequential nature incurs a large synchronization cost. In this paper, we show how to do Gibbs sampling in a fully data-parallel manner on a graphics processing unit (GPU) for a large class of exchangeable models that admit latent variable representations. We demonstrate the scheme on a horseshoe probit regression model, and find that our implementation scales effectively to thousands of predictors and millions of data points simultaneously.

연구 동기 및 목표

• 기존 순차 컴퓨팅 환경에서의 게이브스 샘플링의 확장성 한계를 해결하기 위해.
• 교환 가능 모델에 대해 잠재 변수 구조를 가진 GPU에서 효율적이고 완전히 데이터 병렬화된 게이브스 샘플링을 가능하게 하기 위해.
• 특히 고차원 회귀 설정에서 대규모 데이터셋에서의 고성능 베이지안 추론을 보여주기 위해.
• GPU 아키텍처에서 데이터 병렬성을 활용하여 MCMC 방법에 내재된 동기화 오버헤드를 줄이기 위해.

제안 방법

• 이 방법은 GPU 아키텍처에서 완전히 데이터 병렬 방식으로 게이브스 샘플링을 재구성하여 순차적 종속성을 제거한다.
• 모델의 교환 가능성을 활용하여 각 데이터 포인트의 잠재 변수 업데이트를 독립적으로 수행할 수 있도록 한다.
• 각 데이터 포인트의 조건부 분포를 별개의 GPU 스레드 또는 스레드 블록에 매핑하여 대규모 병렬 처리를 가능하게 한다.
• 잠재 변수 업데이트는 최소한의 반복 간 동기화로 GPU 커널을 사용해 병렬로 계산한다.
• 이 방법은 조건부 사후분포 계산이 효율적인 말라리아 확률 회귀 모델에 적용된다.
• 저지연, 고스루풋 샘플링을 달성하기 위해 CUDA 또는 유사한 GPU 프로그래밍 프레임워크를 사용한 구현을 한다.

실험 결과

연구 질문

• RQ1 대규모 베이지안 모델에 대해 잠재 변수를 가진 게이브스 샘플링을 GPU에서 효과적으로 병렬화할 수 있는가?
• RQ2 제안된 데이터 병렬 게이브스 샘플링의 성능은 예측 변수와 데이터 포인트 수가 증가함에 따라 어떻게 스케일링되는가?
• RQ3 기존 순차적 게이브스 샘플링 구현 대비 달성 가능한 속도 향상은 어느 정도인가?
• RQ4 GPU 하드웨어에서 데이터 병렬성을 활용하여 게이브스 샘플링의 본질적 순차성은 어느 정도 극복될 수 있는가?

주요 결과

• GPU 가속 게이브스 샘플링 방법은 순차적 구현에서 발생하는 동기화 병목 현상을 제거하여 뚜렷한 성능 향상을 달성한다.
• 이 방법은 수백만 개의 데이터 포인트와 수천 개의 예측 변수를 포함하는 데이터셋에 대해 효과적으로 스케일링되며, 높은 병렬 효율성을 유지한다.
• 구현은 대규모 베이지안 추론에 적합한 고스루풋과 저지연 샘플링을 보여준다.
• 이 방법은 잠재 변수 표현을 가진 교환 가능 모델의 광범위한 클래스에 적용 가능하여 특정 모델을 초월한 유용성을 가진다.