[論文レビュー] XBART: Accelerated Bayesian Additive Regression Trees

Jingyu He, Saar Yalov+1 more|arXiv (Cornell University)|Oct 4, 2018

Statistical Methods and Inference参考文献 13被引用数 22

ひとこと要約

XBART は、従来の MCMC の代わりに高速で適応的な探索戦略を用いる確率的勾配上昇アルゴリズムを提案し、ベイジアン加法回帰木（BART）の計算を加速する。予測精度は標準的な BART と同等であるが、計算速度は桁違いに速く、メモリ使用量も少ない。特にハイパーパrameterのチューニングが不要な状況でも、XGBoost やランダムフォレスト、ニューラルネットワークを凌駕する精度を発揮する。

ABSTRACT

Bayesian additive regression trees (BART) (Chipman et. al., 2010) is a powerful predictive model that often outperforms alternative models at out-of-sample prediction. BART is especially well-suited to settings with unstructured predictor variables and substantial sources of unmeasured variation as is typical in the social, behavioral and health sciences. This paper develops a modified version of BART that is amenable to fast posterior estimation. We present a stochastic hill climbing algorithm that matches the remarkable predictive accuracy of previous BART implementations, but is many times faster and less memory intensive. Simulation studies show that the new method is comparable in computation time and more accurate at function estimation than both random forests and gradient boosting.

研究の動機と目的

• 標準 BART が遅い MCMC サンプリングに依存するため計算コストが高く、予測性能は優れているものの、その採用を制限している点を是正すること。
• MCMC に依存しないが、ベイジアンの不確実性評価とハイパーパrameter選択へのロバストネスを維持する、高速でスケーラブルな代替手法を開発すること。
• 複雑で構造のない予測子を伴う状況において、非線形関数推定のデフォルトで使用可能な高パフォーマンスな手法として BART を可能にすること。
• 確率的でグリーディな探索戦略が、MCMC に基づく BART や XGBoost やランダムフォレストといった先進的なツリー型モデルを凌駕する精度に達することが可能かどうかを実証すること。

提案手法

• XBART は、BART の MCMC 後部サンプリングを、データの後部確率を最大化する分割を選択することでツリーをグリーディに成長させる確率的勾配上昇アルゴリズムに置き換える。
• 現在の誤差標準偏差 σ の推定値を組み込んだ、事前予測分布から導出された新しい分割基準を用いることで、ツリー成長に対する適応的正則化を実現する。
• 根から成長させる戦略を採用し、有望な枝のみを拡張することで、計算のオーバーヘッドを低減する。
• 変数選択と分割点の適応は、予測子依存の事前分布を用いることで、モデルの適合性とツリー空間の探索を向上させる。
• 決定的最適化手法よりも優れた後部分布の探索を可能にする、確率的提案メカニズムを採用する。
• バーンインや収束の問題を避ける高速で近似された後部推定手順を統合し、迅速な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MCMC を使わない確率的勾配上昇アルゴリズムは、MCMC に基づく BART と同等の予測精度を達成しながら、著しく高速化できるか？
• RQ2 XBART はハイパーパrameterの選択に対して BART 同様のロバストネスを維持し、広範なチューニングなしで信頼性のある不確実性推定を提供できるか？
• RQ3 さまざまなデータ生成メカニズムにおいて、XBART は XGBoost やランダムフォレスト、ニューラルネットワークと比較して、精度と速度の両面で優れているか？
• RQ4 分割基準における σ-推定を用いた適応的正則化のモデル性能への影響は何か？
• RQ5 提案されたアルゴリズムは、ベイジアン因果フォレストや対数線形 BART モデルといったより複雑な BART 変種へ拡張可能か？

主な発見

• XBART は、シミュレーション設定の平均で、クロスバリデーション済み XGBoost よりも 31% 低い平均二乗誤差（RMSE）を達成した。また、ほとんどの場合で高速であった。
• n = 250,000 の場合、XBART はチューニングされていない XGBoost よりも 3.5 倍高い精度を示し、デフォルトの XGBoost 設定よりも 2.5 倍速かった。
• 低ノイズ環境では標準的な MCMC に基づく BART と同等またはわずかに優れた性能を示し、高ノイズ環境では顕著に優れた性能を示した。これは、後部空間のより良い探索に起因すると考えられる。
• ランダムフォレストと従来の MCMC BART は、大きなサンプルサイズ（n > 10,000）では著しく遅く、XBART は効率的にスケーリングした。
• ニューラルネットワークと XGBoost は低ノイズ環境で優れていたが、XBART はチューニングなしで、あらゆるノイズレベルで優れた精度を維持した。
• 事前分布のエリシットから導かれたデフォルトのハイパーパrameterは、多様なデータ生成プロセスにおいて優れたパフォーマンスを発揮し、そのロバストネスとデフォルトモデルとしての適性を確認した。