[논문 리뷰] Augur: a Modeling Language for Data-Parallel Probabilistic Inference

Jean-Baptiste Tristan, Daniel Huang외 4명|arXiv (Cornell University)|2013. 12. 12.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

Augur는 베이지안 네트워크를 위한 고도로 최적화된 데이터 병렬 추론 코드를 GPU 아키텍처에 자동으로 생성하는 확률적 프로그래밍 언어이자 컴파일러이다. 조건부 독립성과 기호적 중간 표현을 활용함으로써, LDA 및 가우시안 믹스처 모델과 같은 모델을 확장 가능한 GPU 커널로 컴파일하여, 데이터 크기가 증가함에 따라 런타임과 확장성 측면에서 수작업 최적화된 구현 및 기타 확률적 도구들을 능가한다.

ABSTRACT

It is time-consuming and error-prone to implement inference procedures for each new probabilistic model. Probabilistic programming addresses this problem by allowing a user to specify the model and having a compiler automatically generate an inference procedure for it. For this approach to be practical, it is important to generate inference code that has reasonable performance. In this paper, we present a probabilistic programming language and compiler for Bayesian networks designed to make effective use of data-parallel architectures such as GPUs. Our language is fully integrated within the Scala programming language and benefits from tools such as IDE support, type-checking, and code completion. We show that the compiler can generate data-parallel inference code scalable to thousands of GPU cores by making use of the conditional independence relationships in the Bayesian network.

연구 동기 및 목표

• 베이지안 네트워크의 추론을 구현할 때 발생하는 높은 복잡도와 성능 저하 문제를 해결하기 위해 효율적이고 병렬화된 추론 코드를 자동으로 생성하는 것.
• 모델 명세와 추론 구현을 분리함으로써 확률적 프로그래밍의 실용적 사용을 가능하게 하고, 오류와 개발 시간을 줄이는 것.
• 특히 메트로폴리스-해스팅스 및 지브스 샘플링과 같은 MCMC 알고리즘에서 데이터 병렬성을 활용하기 위해, 베이지안 네트워크 내 조건부 독립성을 자동으로 식별하고 활용하는 것.
• 수작업 최적화된 GPU 코드(예: CUDA)와 비교해 성능를 유사하게 유지하면서도, 새로운 추론 알고리즘에 대한 모듈성과 확장성을 유지하는 것.
• LDA와 같은 수천 개의 주제와 수백만 개의 데이터 포인트를 포함한 대규모 모델에 대해, 명시적 그래픽 모델 구축 대신 기호적 표현을 사용하여 추론을 확장 가능한 방식으로 수행하는 것.

제안 방법

• Augur는 스타일랙스에서 도메인 특화 내장 언어를 사용하며, 타입 안정성과 IDE 지원을 위해 매크로를 활용하여 기능적 스타일로 확률적 모델을 표현한다.
• 모델은 전체 그래픽 모델을 구성하지 않고도 전체 분포의 구조를 포괄하는 기호적 중간 표현(IR)으로 컴파일된다. 이는 효율적인 분석과 최적화를 가능하게 한다.
• IR은 데이터 포인트와 파라미터 간의 조건부 독립성을 식별함으로써, 특히 i.i.d. 설정에서 데이터 병렬 추론 커널을 자동으로 유도하는 데 사용된다.
• 컴파일러는 메트로폴리스-해스팅스 및 지브스 샘플링을 위한 GPU 최적화 커널을 생성하며, 각 데이터 포인트 간의 독립성을 활용하여 수천 개의 GPU 코어에 걸쳐 대규모 병렬 처리를 가능하게 한다.
• 시스템은 모듈러한 추론 알고리즘 통합을 지원하여, 다양한 MCMC 기법 간에 분석과 최적화를 재사용할 수 있다.
• 메트로폴리스-인-지브스 샘플러를 포함하고 있으며 하이브리드 추론 전략도 지원하지만, 본 논문에서는 이에 대한 상세 기술이 포함되어 있지 않다.

실험 결과

연구 질문

• RQ1 확률적 프로그래밍 언어가 베이지안 네트워크를 대상으로 하여 GPU에서 효율적으로 확장 가능한 데이터 병렬 추론 코드를 자동으로 생성할 수 있는가?
• RQ2 자동으로 생성된 GPU 추론의 성능는 수작업 최적화된 CUDA 코드 및 Stan, JAGS와 같은 다른 확률적 프레임워크에 비해 어떻게 비교되는가?
• RQ3 분포의 기호적 표현이 LDA 및 GMM와 같은 대규모 모델에서 확장성 향상과 메모리 오버헤드 감소에 얼마나 기여하는가?
• RQ4 생성된 코드의 성능는 데이터 크기와 주제 수 증가에 따라 어떻게 변화하는가?
• RQ5 컴파일러는 메트로폴리스-해스팅스, 지브스 샘플링 등의 다양한 추론 알고리즘을 효과적으로 지원하면서도 높은 성능과 모듈성을 유지할 수 있는가?

주요 결과

• Augur가 생성한 LDA의 지브스 샘플링을 위한 GPU 코드는 수작업 최적화된 CUDA 구현과 유사한 성능을 보이며, 256개 이상의 샘플을 추출할 경우 특히 유리하다.
• 가우시안 믹스처 모델에 대해 Augur의 런타임은 데이터 크기가 증가함에 따라 스탠의 성능보다 훨씬 느리게 증가하며, 10만 개 이상의 데이터 포인트에서는 JAGS를 7배 이상 뛰어넘는 성능을 보였다.
• 스탠의 성능는 데이터 크기가 증가함에 따라 심각하게 저하되어, 10만 개 데이터 포인트의 실행만 3시간 이내에 완료할 뿐이었고, Augur는 효율적인 확장성을 유지했다.
• Augur의 성능는 주제 수 증가에 따라도 안정적이고 효율적이었으며, Factorie의 콜랩스드 지브스 샘플러와는 달리 주제 수 증가에 따라 성능 저하가 심각하게 발생하지 않았다.
• Factorie의 희소 구현은 신뢰할 수 없는 동작을 보였으며, 예측 확률이 시간이 지남에 따라 감소하는 경향을 보여, 잠재적인 정확성 문제를 암시했다.
• 256개 이상의 샘플에서는 컴파일 오버헤드가 효과적으로 분산되어, 중간 크기의 샘플 크기에서도 Augur가 경쟁력 있는 성능을 유지한다.