[論文レビュー] Particle Gibbs for Bayesian Additive Regression Trees

Balaji Lakshminarayanan, Daniel M. Roy+1 more|arXiv (Cornell University)|Feb 16, 2015

Gaussian Processes and Bayesian Inference参考文献 14被引用数 7

ひとこと要約

この論文は、局所的移動ではなく木全体を提案することで事後分布の探索を改善する、ベイジアン加法回帰木（BART）のための新規なパーティクルギブスサンプラーPG-BARTを紹介する。トップダウンのパーティクルフィルタリングと逐次モンテカルロを活用することで、高次元データや深木設定においても、混合性能と効率性が著しく向上し、有効サンプルサイズと1秒あたりのESSにおいて、標準的なMCMCサンプラーを上回る。

ABSTRACT

Additive regression trees are flexible non-parametric models and popular off-the-shelf tools for real-world non-linear regression. In application domains, such as bioinformatics, where there is also demand for probabilistic predictions with measures of uncertainty, the Bayesian additive regression trees (BART) model, introduced by Chipman et al. (2010), is increasingly popular. As data sets have grown in size, however, the standard Metropolis-Hastings algorithms used to perform inference in BART are proving inadequate. In particular, these Markov chains make local changes to the trees and suffer from slow mixing when the data are high-dimensional or the best fitting trees are more than a few layers deep. We present a novel sampler for BART based on the Particle Gibbs (PG) algorithm (Andrieu et al., 2010) and a top-down particle filtering algorithm for Bayesian decision trees (Lakshminarayanan et al., 2013). Rather than making local changes to individual trees, the PG sampler proposes a complete tree to fit the residual. Experiments show that the PG sampler outperforms existing samplers in many settings.

研究の動機と目的

• データが高次元であるか木が深い場合に、標準的なメトロポリス・ハスティングスサンプラーの混合性能が著しく低下する問題に対処する。
• 局所的MCMC移動の制限を克服し、収束が遅く、事後分布の近似が不正確になる問題を解消する。
• 多様なハイパーパrameter設定においても、高い事後分布探索品質を維持するスケーラブルで効率的なサンプリング戦略を構築する。
• 大規模または複雑なデータ環境でも、信頼性のある確率的推論（信頼区間や変数の重要度の評価を含む）を可能にする。
• パーティクルベース推論とベイジアンバックフィッティングを統合し、受動的評価が不要な木の事前分布を含む受理確率においても、効率的なサンプリングを実現する。

提案手法

• 局所的木更新の代わりにSMCに基づく全木提案を用いて、BARTにパーティクルギブス（PG）フレームワークを適応させる。
• 残差を条件とする木の条件付き分布を近似するために、トップダウンの逐次モンテカルロ（SMC）アルゴリズムを用いる。
• パーティクルフィルタリングを用いて、粒子が候補となる木構造を表すことで、事後分布からの完全な木のサンプリングを実現する。
• PGサンプラーをベイジアンバックフィッティングMCMCフレームワークに統合し、他の木の現在のフィットに条件づけながら、1つの木ずつ更新する。
• 受理確率における木の事前分布が相殺されることを活用し、事前分布が評価困難であっても効率的なサンプリングが可能になる。
• 計算効率を確保するため、高価な事前分布評価を回避し、密度評価よりも単純な事前分布からのサンプリングに依存する。

実験結果

リサーチクエスチョン

• RQ1 局所的移動メトロポリス・ハスティングスアルゴリズムと比較して、パーティクルベースMCMCサンプラーはBARTにおける混合性能を向上させることができるか？
• RQ2 局所的変更ではなく木全体を提案することで、高次元データにおいて収束が速くなり、事後分布の探索が改善されるか？
• RQ3 深木の真の構造や高次元データの状況では、PG-BARTは局所的サンプラーが苦戦する状況でも良好に動作するか？
• RQ4 PGフレームワークは、ベイジアン意思決定木に対してSMCと効果的に組み合わせられ、スケーラブルで正確なBART推論手法を実現できるか？
• RQ5 PG-BARTサンプラーは、事後分布のサンプリング効率と信頼区間の品質を向上させつつ、予測性能を維持できるか？

主な発見

• Hypercube-Dデータセットでは、深さD=4のときPG-BARTは有効サンプルサイズ（ESS）686.79を達成したが、CGMは14.01、GrowPruneは11.76にとどまり、混合性能に顕著な優位性を示した。
• 深さD=7のとき、PG-BARTはESS 422.96を達成し、CGM（1.16）とGrowPrune（1.78）を大きく上回り、深木設定でも優れた性能を発揮した。
• 384次元のCTslicesデータセットでは、PG-BARTはESS/s 2.115×10⁻³を達成し、CGM（0.080×10⁻³）とGrowPrune（0.615×10⁻³）を上回り、高次元データにおける効率性の優位性を示した。
• YearPredictionMSD（90次元）では、PG-BARTはESS 76.766、ESS/s 14.070×10⁻³を達成し、CGM（29.215 ESS、2.018×10⁻³ ESS/s）とGrowPrune（21.656 ESS、7.029×10⁻³ ESS/s）を著しく上回った。
• 各サンプラーの予測平均二乗誤差は類似していたが、PG-BARTは混合性能が優れており、特に高次元および深木の環境において、より正確な事後分布推論を提供した。
• 次元数が異なるデータセットにおいてもPG-BARTは一貫した性能を維持し、局所的サンプラーが混合に失敗する状況でも、強固でスケーラブルな性能を示した。