[논문 리뷰] Acceleration of expensive computations in Bayesian statistics using vector operations.

David J. Warne, Scott A. Sisson외 1명|arXiv (Cornell University)|2019. 02. 25.

Gaussian Processes and Bayesian Inference인용 수 3

한 줄 요약

이 논문은 표준 프로그래밍 라이브러리에서 Single Instruction, Multiple Data (SIMD) 벡터 연산을 활용하면 순차적 코드에서 계산이 집약적인 베이지안 계산을 최대 6배 빠르게 하고, 4방향 병렬 처리에서는 거의 19배 빠르게 할 수 있음을 보여준다. 이는 넓은 보급을 위한 GPGPU 기반 방법에 비해 실용적이고 접근 가능한 대안을 제공한다.

ABSTRACT

Many applications in Bayesian statistics are extremely computationally intensive. However, they are also often inherently parallel, making them prime targets for modern massively parallel central processing unit (CPU) architectures. While the use of multi-core and distributed computing is widely applied in the Bayesian community, very little attention has been given to fine-grain parallelisation using single instruction multiple data (SIMD) operations that are available on most modern commodity CPUs. Rather, most fine-grain tuning in the literature has centred around general purpose graphics processing units (GPGPUs). Since the effective utilisation of GPGPUs typically requires specialised programming languages, such technologies are not ideal for the wider Bayesian community. In this work, we practically demonstrate, using standard programming libraries, the utility of the SIMD approach for several topical Bayesian applications. In particular, we consider sampling of the prior predictive distribution for approximate Bayesian computation (ABC), the computation of Bayesian $p$-values for testing prior weak informativeness, and inference on a computationally challenging econometrics model. Through minor code alterations, we show that SIMD operations can improve the floating point arithmetic performance resulting in up to $6 imes$ improvement in the overall serial algorithm performance. Furthermore $4$-way parallel versions can lead to almost $19 imes$ improvement over a na\{i}ve serial implementation. We illustrate the potential of SIMD operations for accelerating Bayesian computations and provide the reader with essential implementation techniques required to exploit modern massively parallel processing environments using standard software development tools.

연구 동기 및 목표

• 현대 CPU에 구현된 SIMD 병렬 처리가 베이지안 통계 분야에서 여전히 활용도가 낮은 데에도 불구하고 이를 해결한다.
• 특수 언어가 필요로 하는 GPGPU 기반 가속화의 한계를 극복한다. 이는 광범위한 보급을 저해한다.
• 표준 프로그래밍 라이브러리만을 사용해 핵심 베이지안 응용 분야에서 실질적인 성능 향상을 입증한다.
• 저수준 GPU 프로그래밍이 필요 없이 베이지안 워크플로우에서 SIMD를 활용하는 접근 가능한 구현 기법을 제공한다.
• 계산이 집약적인 베이지안 추론 작업에 대해 세밀한 CPU 병렬 처리의 실현 가능성과 영향력을 설명한다.

제안 방법

• 표준 CPU 명령 세트를 사용해 베이지안 알고리즘의 부동소수점 산술 연산을 SIMD 벡터 연산으로 가속화한다.
• 이unge 예측 샘플링을 위한 연산을 벡터화하기 위해 코드 수정을 최소한으로 적용한다.
• 베이지안 p-값을 계산해 사전의 약한 정보성 여부를 평가하는 데도 SIMD 최적화를 확장한다.
• 실제 성능 향상을 평가하기 위해 도전적인 경제계량 모델에 이 방법을 적용한다.
• 광범위한 접근성과 기존의 베이지안 파ip라인과의 호환성을 보장하기 위해 표준 소프트웨어 개발 도구와 라이브러리를 사용한다.
• 일반적인 순차적 구현 대비 순차적 및 4방향 병렬 SIMD 구성에서의 성능 향상을 측정한다.

실험 결과

연구 질문

• RQ1 특수 프로그래밍 언어가 필요 없이 SIMD 벡터 연산이 순차적 베이지안 계산을 얼마나 빠르게 할 수 있는가?
• RQ2 SIMD 최적화를 사용해 ABC의 사전 예측 샘플링에서 얼마나 많은 성능 향상을 달성할 수 있는가?
• RQ3 SIMD 기반 가속화가 사전 민감도 분석을 위해 베이지안 p-값을 계산하는 데 효과적으로 적용될 수 있는가?
• RQ4 베이지안 추론에 대해 4방향 병렬 구성에서 여러 코어에 걸쳐 SIMD의 확장성은 어느 정도인가?
• RQ5 실제 경제계량 모델에서 SIMD 성능은 일반적인 순차적 구현 대비 어떻게 비교되는가?

주요 결과

• SIMD 벡터 연산은 테스트된 베이지안 응용 분야에서 순차적 알고리즘 성능을 최대 6배 향상시켰다.
• 4방향 병렬 SIMD 구현은 일반적인 순차적 구현 대비 거의 19배의 속도 향상을 달성했다.
• 성능 향상은 표준 프로그래밍 라이브러리와 CPU 네이티브 명령 세트만을 사용해 소수의 코드 수정으로 달성되었다.
• 이 방법은 특수한 GPGPU 언어나 하드웨어가 필요 없어 실용적이고 접근하기 쉽다.
• ABC, 사전 점검, 경제계량 모델링을 포함한 다양한 베이지안 작업에서 일관된 가속화가 이루어졌다.
• 결과적으로 SIMD는 GPGPU에 비해 실용적이며 아직 활용도가 낮은 대안으로, 메인스트림 소프트웨어 스택에서 베이지안 계산을 가속화하는 데 유망하다.