[論文レビュー] Parallel Bayesian Additive Regression Trees

Matthew T. Pratola, Hugh Chipman+4 more|arXiv (Cornell University)|Sep 7, 2013

Gaussian Processes and Bayesian Inference参考文献 23被引用数 4

ひとこと要約

この論文は、メッセージパッシングインターフェース（MPI）を介した単一プログラム・マルチデータ（SPMD）並列計算を用いて、ベイジアン加法的回帰木（BART）の並列実装を提案する。複数のコアに木の構築とMCMCサンプリングを分散させることで、近似的な線形スケーラビリティを達成し、100,000件以上の観察データを含む大規模データセットを処理可能にし、元々のRベースのBayesTreeパッケージの計算制限を克服する。

ABSTRACT

Bayesian Additive Regression Trees (BART) is a Bayesian approach to flexible non-linear regression which has been shown to be competitive with the best modern predictive methods such as those based on bagging and boosting. BART offers some advantages. For example, the stochastic search Markov Chain Monte Carlo (MCMC) algorithm can provide a more complete search of the model space and variation across MCMC draws can capture the level of uncertainty in the usual Bayesian way. The BART prior is robust in that reasonable results are typically obtained with a default prior specification. However, the publicly available implementation of the BART algorithm in the R package BayesTree is not fast enough to be considered interactive with over a thousand observations, and is unlikely to even run with 50,000 to 100,000 observations. In this paper we show how the BART algorithm may be modified and then computed using single program, multiple data (SPMD) parallel computation implemented using the Message Passing Interface (MPI) library. The approach scales nearly linearly in the number of processor cores, enabling the practitioner to perform statistical inference on massive datasets. Our approach can also handle datasets too massive to fit on any single data repository.

研究の動機と目的

• 元のBayesTree Rパッケージの計算非効率性に対処する。このパッケージは1,000件を超える観察データでは問題を抱え、50,000～100,000件のデータセットでは失敗する。
• ハイパフォーマンスコンピューティングを活用して、大規模データセット上でBARTによるインタラクティブな統計的推論を可能にする。
• 元のBARTのベイジアン不確実性の評価と頑健なデフォルト事前分布を維持するスケーラブルで分散型のBARTの実装を開発する。
• 1台のマシンのメモリに収まらないデータセットを、MPIを介した分散メモリ並列処理により処理可能にする。

提案手法

• メッセージパッシングインターフェース（MPI）を用いて、単一プログラム・マルチデータ（SPMD）並列処理に適応したBARTアルゴリズムを設計し、複数のプロセッサーコアに計算を分散する。
• データセットを複数のコンピューティングノードまたはコアに分割し、各ノードがBARTアンサンブル内の部分集合の木を独立して構築・更新する。
• 確率的探索MCMCアルゴリズムを修正し、パーティション間で木構造およびノードパラメータを並列に更新しながらも、事後分布の一貫性を保つようにする。
• MCMCイテレーション中に、各ノード間で十分統計量および事後サンプルを同期化するために、データシャーディングとプロセス間通信を活用する。
• データがメインメモリに収まない場合にも対応するため、ロードバランシングと効率的なI/O処理を実装する。
• 一貫した事前分布の指定とMCMC収束を保証することで、並列化されたアルゴリズムが元のBARTの頑健性と不確実性評価能力を維持することを確認する。

実験結果

リサーチクエスチョン

• RQ1 並列計算を用いて、BARTを50,000～100,000件の観察データにスケーリングできるか？
• RQ2 並列実装が、元のBART手法のベイジアン不確実性評価と頑健性を維持しているか？
• RQ3 プロセッサーコア数の増加に伴い、並列BARTアルゴリズムの性能スケーリング特性はどのように変化するか？
• RQ4 並列BARTフレームワークは、1台のマシンのメモリ容量を超えるデータセットを処理できるか？

主な発見

• 並列BART実装は、プロセッサーコア数に対して近似的な線形スケーリングを達成し、大規模データセットにおける実行時間の大幅な改善を実現した。
• この手法は、元のBayesTree Rパッケージでは処理不可能な100,000件までの観察データを正常に処理できた。
• MPIを用いてデータを複数ノードに分散させることで、1台のマシンのメモリに収まらないデータセットの処理が可能になった。
• 並列実装は、MCMCサンプルのばらつきを通じて不確実性を捉える元のBARTの能力と、頑健なデフォルト事前分布を保持した。