[논문 리뷰] Parallel Bayesian Additive Regression Trees

Matthew T. Pratola, Hugh Chipman외 4명|arXiv (Cornell University)|2013. 09. 07.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 4

한 줄 요약

이 논문은 메시지 전달 인터페이스(MPI)를 통해 단일 프로그램 다중 데이터(SPMD) 병렬 계산을 사용하여 베이지안 덧셈 회귀 트리(BART)의 병렬 구현을 제안한다. 여러 코어에 걸쳐 트리 구축과 MCMC 샘플링을 분산 처리함으로써, 이 방법은 거의 선형적 스케일링을 달성하고 기존의 R 기반 BayesTree 패키지가 처리할 수 없는 대규모 데이터셋—최대 100,000건 이상의 관측치—을 처리할 수 있게 한다.

ABSTRACT

Bayesian Additive Regression Trees (BART) is a Bayesian approach to flexible non-linear regression which has been shown to be competitive with the best modern predictive methods such as those based on bagging and boosting. BART offers some advantages. For example, the stochastic search Markov Chain Monte Carlo (MCMC) algorithm can provide a more complete search of the model space and variation across MCMC draws can capture the level of uncertainty in the usual Bayesian way. The BART prior is robust in that reasonable results are typically obtained with a default prior specification. However, the publicly available implementation of the BART algorithm in the R package BayesTree is not fast enough to be considered interactive with over a thousand observations, and is unlikely to even run with 50,000 to 100,000 observations. In this paper we show how the BART algorithm may be modified and then computed using single program, multiple data (SPMD) parallel computation implemented using the Message Passing Interface (MPI) library. The approach scales nearly linearly in the number of processor cores, enabling the practitioner to perform statistical inference on massive datasets. Our approach can also handle datasets too massive to fit on any single data repository.

연구 동기 및 목표

• 기존 BayesTree R 패키지가 1,000건 이상의 관측치를 처리하는 데 어려움을 겪고, 50,000~100,000건의 관측치 데이터셋에서는 실패하는 등의 계산 효율성 문제를 해결하기 위해.
• 고성능 컴퓨팅을 활용하여 대규모 데이터셋에서 BART를 사용한 인터랙티브 통계적 추론을 가능하게 하기 위해.
• 메서드의 베이지안 불확실성 측정 및 강건한 기본 사전분포를 유지하면서도 확장 가능한 분산 버전의 BART를 개발하기 위해.
• 하나의 머신 메모리에 들어가지 않는 데이터셋을 처리하기 위해 MPI를 통한 분산 메모리 병렬 처리를 지원하기 위해.

제안 방법

• 메시지 전달 인터페이스(MPI)를 사용하여 BART 알고리즘을 SPMD 병렬 처리에 적합하도록 변형하여 여러 프로세서 코어에 걸쳐 계산을 분산 처리한다.
• 데이터셋을 여러 컴퓨팅 노드나 코어에 나누어 각 노드가 BART 앙상블의 부분 트리 집합을 독립적으로 구축하고 업데이트하도록 한다.
• 스토케스틱 서치 MCMC 알고리즘을 수정하여 파artitions 간에 트리 구조와 노드 파라미터를 동시에 업데이트하면서도 사후분포 일致성을 유지하도록 한다.
• MCMC 반복 과정 중에 충분통계량과 사후 표본을 노드 간에 동기화하기 위해 데이터 샤딩과 프로세스 간 통신을 사용한다.
• 메인 메모리에 들어가지 않는 데이터셋을 효율적으로 처리하기 위해 로드 밸런싱과 효율적인 I/O 처리를 구현한다.
• 일致한 사전분포 사양과 MCMC 수렴성을 통해 병렬화된 알고리즘이 원래 BART의 강건성과 불확실성 측정 능력을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 병렬 계산을 통해 BART를 대규모 데이터셋—특히 50,000에서 100,000건의 관측치—까지 확장할 수 있는가?
• RQ2 병렬 구현이 원래 BART 메서드의 베이지안 불확실성 측정 및 강건성을 유지하는가?
• RQ3 프로세서 코어 수가 증가함에 따라 병렬 BART 알고리즘의 성능 스케일링 행동은 어떻게 되는가?
• RQ4 병렬 BART 프레임워크는 단일 머신의 메모리 용량을 초과하는 데이터셋을 처리할 수 있는가?

주요 결과

• 병렬 BART 구현은 프로세서 코어 수에 대해 거의 선형적 스케일링을 달성하여 대규모 데이터셋에서 런타임 성능을 크게 향상시킨다.
• 이 방법은 원래 BayesTree R 패키지가 처리할 수 없는 최대 100,000건의 관측치를 포함한 데이터셋을 성공적으로 처리한다.
• MPI를 사용해 데이터를 여러 노드에 분산함으로써 하나의 머신 메모리에 들어가지 않는 데이터셋을 지원한다.
• 병렬 구현은 MCMC 샘플링의 변동성을 통해 원래 BART가 갖는 불확실성 측정 능력과 강건한 기본 사전분포를 유지한다.