[논문 리뷰] MultiBUGS: Massively parallel MCMC for Bayesian hierarchical models

Robert J. B. Goudie, Rebecca Turner외 2명|arXiv (Cornell University)|2017. 04. 11.

Statistical Methods and Bayesian Inference참고 문헌 32인용 수 5

한 줄 요약

MultiBUGS는 다중 코어 시스템에서 MCMC 추론을 자동으로 병렬화함으로써 베이지안 계층 모델링을 가속화한다. 두 가지 전략을 사용한다: 곱형태의 우도 함수를 병렬 평가하고, 조건부로 독립적인 파라미터를 병렬로 추출하는 것이다. 48코어 시스템에서 425,112개의 관측치와 20,426개의 랜덤 효과를 가진 대규모 전자의료 모델에 대해 후행 추론 시간을 수 시간에서 28분으로 단축시켰다.

ABSTRACT

MultiBUGS (this https URL) is a new version of the general-purpose Bayesian modelling software BUGS that implements a generic algorithm for parallelising Markov chain Monte Carlo (MCMC) algorithms to speed up posterior inference of Bayesian models. The algorithm parallelises evaluation of the product-form likelihoods formed when a parameter has many children in the directed acyclic graph (DAG) representation; and parallelises sampling of conditionally-independent sets of parameters. A heuristic algorithm is used to decide which approach to use for each parameter and to apportion computation across computational cores. This enables MultiBUGS to automatically parallelise the broad range of statistical models that can be fitted using BUGS-language software, making the dramatic speed-ups of modern multi-core computing accessible to applied statisticians, without requiring any experience of parallel programming. We demonstrate the use of MultiBUGS on simulated data designed to mimic a hierarchical e-health linked-data study of methadone prescriptions including 425,112 observations and 20,426 random effects. Posterior inference for the e-health model takes several hours in existing software, but MultiBUGS can perform inference in only 28 minutes using 48 computational cores.

연구 동기 및 목표

• 응용 통계학자들이 병렬 코드를 작성하지 않고도 다중 코어 컴퓨팅을 베이지안 계층 모델에 활용할 수 있도록 하기 위해.
• 복잡한 의존 구조를 가진 대규모 베이지안 모델에서 MCMC 추론의 성능 저하 문제를 해결하기 위해.
• BUGS 언어와 DAG 기반 모델링과 호환되는 일반적인 자동 병렬화 전략을 개발하기 위해.
• 수백만 건의 관측치와 수천 개의 랜덤 효과를 포함한 실제 세계의 고차원 전자의료 데이터에서 뚜렷한 성능 향상을 보여주기 위해.

제안 방법

• MultiBUGS는 두 가지 병렬화 전략 간에 동적으로 전환하기 위한 휴리스틱 알고리즘을 사용한다: 곱형태의 우도 함수의 병렬 평가와 조건부로 독립적인 파라미터 블록의 병렬 추출.
• DAG에서 자식 노드가 많은 파라미터를 식별하여 곱형태의 우도를 활용하고, 코어 간 벡터화된 계산을 가능하게 한다.
• DAG 내에서 조건부로 독립적인 파라미터 블록을 탐지하고, 병행 추출을 위해 별도의 처리 단위에 할당한다.
• 휴리스틱 알고리즘은 계산 비용과 데이터 구조를 기반으로 각 파라미터에 최적의 병렬화 전략을 선택하고 부하를 균형 있게 분배한다.
• 이 방법은 사용자에게 완전히 투명하며, BUGS 언어로 작성된 모델 명세에 대한 수정이 필요 없다.
• 구현은 기존의 BUGS 인프라 위에 구축되어 있어 표준 베이지안 모델링 워크플로우와의 후행 호환성을 보장한다.

실험 결과

연구 질문

• RQ1 자동이고 투명한 MCMC 알고리즘 병렬화가 대규모 베이지안 계층 모델의 계산 시간을 크게 단축시킬 수 있는가?
• RQ2 실제 고차원 데이터에서 우도 병렬화와 파라미터 블록 추출의 조합이 추론 속도 향상에 얼마나 효과적인가?
• RQ3 사용자 수준의 병렬 프로그래밍 없이도 MultiBUGS가 다중 코어 아키텍처에서 성능을 얼마나 잘 스케일링할 수 있는가?
• RQ4 복잡한 DAG에서 휴리스틱 알고리즘이 각 파라미터에 대해 최적의 병렬화 전략을 신뢰성 있게 선택할 수 있는가?
• RQ5 수천 개의 랜덤 효과와 수십만 개의 관측치를 포함한 대규모 전자의료 데이터에서 어떤 성능 향상이 달성 가능한가?

주요 결과

• MultiBUGS는 48개의 컴퓨팅 코어를 사용하여 대규모 전자의료 모델의 후행 추론 시간을 수 시간에서 단 28분으로 단축시켰다.
• 모델은 425,112개의 관측치와 20,426개의 랜덤 효과를 포함하여 고차원 데이터로의 확장성을 입증했다.
• 모델 명세나 사용자 수준의 병렬 프로그래밍 변경 없이도 성능 향상을 달성했다.
• 휴리스틱 알고리즘이 성능 저하 없이 최적의 병렬화 전략을 성공적으로 선택했다.
• 자동 병렬화가 현대의 다중 코어 하드웨어의 잠재력을 응용 통계학 분야에서 최대로 활용할 수 있음을 확인했다.
• 이전에는 합리적인 시간 내에 실행이 불가능했던 복잡한 모델에 대해서도 효율적인 추론을 가능하게 했다.