[論文レビュー] Stochastic Tree Ensembles for Regularized Nonlinear Regression

Jingyu He, P. Richard Hahn|arXiv (Cornell University)|Feb 9, 2020

Gaussian Processes and Bayesian Inference参考文献 26被引用数 12

ひとこと要約

この論文では、XBARTを紹介する。XBARTは、BARTの正則化と事前分布を組み合わせ、高速で再帰的な木構造成長アルゴリズムを用いることで、ベイジアン加法回帰木（BART）の計算を加速する確率的木アンサンブル手法である。XBARTは、予測精度と関数推定において最先端の性能を達成しており、BART、XGBoost、ニューラルネットワークよりも著しく高速である。また、BARTのMCMCの初期化に用いることで、収束性が向上する。

ABSTRACT

This article develops a novel stochastic tree ensemble method for nonlinear regression, referred to as accelerated Bayesian additive regression trees, or XBART. By combining regularization and stochastic search strategies from Bayesian modeling with computationally efficient techniques from recursive partitioning algorithms, XBART attains state-of-the-art performance at prediction and function estimation. Simulation studies demonstrate that XBART provides accurate point-wise estimates of the mean function and does so faster than popular alternatives, such as BART, XGBoost, and neural networks (using Keras) on a variety of test functions. Additionally, it is demonstrated that using XBART to initialize the standard BART MCMC algorithm considerably improves credible interval coverage and reduces total run-time. Finally, two basic theoretical results are established: the single tree version of the model is asymptotically consistent and the Markov chain produced by the ensemble version of the algorithm has a unique stationary distribution.

研究の動機と目的

• 正則化とベイジアン不確実性の定量化を保持したまま、BARTの高速代替手法を開発すること。
• 予測精度を損なわず、大規模な非線形回帰の計算効率を向上させること。
• 多様な信号対雑音比の環境やデータサイズにわたり良好な性能を発揮する手法を構築すること。
• アルゴリズムの理論的性質、たとえば一貫性と一意な定常分布を確立すること。
• 実世界のテーブルデータに対して、XGBoost や BART のスケーラブルで高性能な代替手法を提供すること。

提案手法

• XBARTは、事後分布から分割点とリーフパラメータをサンプリングする、ルートから成長する確率的探索戦略を用いて木を構築する。
• 木構造とリーフパラメータにBARTの事前分布を適用し、正則化のためのグローバルスリッピングパラメータτを含む。
• 共役線形回帰を用いて、段階的に分割をサンプリングし、リーフパラメータを更新することで、確率的木成長を実行する。
• メトロポリス・ハスティングス手順を用いて木構造を提案し、事後オッズと事前比に基づく受容確率を用いる。
• 各木をスティッチに成長させ、モデル平均化を促進する事前分布を用いることで、アンサンブルを構成する。
• 共役事前分布を活用して、リーフパラメータの事後分布を効率的に計算し、高速な計算を実現する。

Figure 2 : RMSE ratios of XBART to RF against XGBCV to RF across a variety of data generating processes.

実験結果

リサーチクエスチョン

• RQ1 確率的かつ再帰的な木成長アルゴリズムは、BART並みの精度を達成しながら、著しく高速化できるか？
• RQ2 標準BARTのMCMCを初期化するためにXBARTを用いることで、収束性と信用区間カバレッジが向上するか？
• RQ3 XBARTによって生成されるマルコフ連鎖はエルゴディックであり、一意な定常分布を持つか？
• RQ4 XBARTは、信号対雑音比やテスト関数の異なる条件下で、BART、XGBoost、ニューラルネットワークと比較してどのように性能を発揮するか？
• RQ5 確率的木アンサンブルは、標本サイズが増加する際の関数推定において一貫性を保つことができるか？

主な発見

• XBARTは、幅広いテスト関数において、予測精度と関数推定の面で最先端の性能を達成しており、シミュレーションスタディーにおいてBART、XGBoost、ニューラルネットワークを上回るか、同等の性能を発揮する。
• XBARTはBARTよりも著しく高速であり、BARTが非現実的となる大規模データセットでは、実行時間が最大10倍短縮される。
• XBARTを用いてBART MCMCを初期化することで、信用区間カバレッジが向上し、合計実行時間が標準初期化より短くなる。
• 単一木バージョンのXBARTは、正則性条件の下で漸近的に一貫性を示し、理論的整合性を裏付ける。
• XBARTアンサンブル版によって生成されるマルコフ連鎖には一意な定常分布が存在し、MCMC推論への適用が正当化される。
• 事前分散τのサンプリングにより、高雑音および小標本サイズの環境でも性能が向上し、ロバストネスが向上する。

Figure 3 : Boxplot of the RRMSE for each method across the total 120 training / testing splits.