[論文レビュー] Boulevard: Regularized Stochastic Gradient Boosted Trees and Their Limiting Distribution

Yichen Zhou, Giles Hooker|arXiv (Cornell University)|Jun 26, 2018

Statistical Methods and Inference参考文献 36被引用数 8

ひとこと要約

本稿では、サブサンプリング、ス hrinkage、アンサンブル平均化を組み合わせることで収束性と漸近正規性を保証する、回帰向けの正則化された確率的勾配ブースティングフレームワーク、Boulevardを紹介する。主な貢献は、Boulevardの予測に対する中心極限定理の確立であり、これにより再現可能な予測区間を用いた有効な不確実性の定量化が可能になる。

ABSTRACT

This paper examines a novel gradient boosting framework for regression. We regularize gradient boosted trees by introducing subsampling and employ a modified shrinkage algorithm so that at every boosting stage the estimate is given by an average of trees. The resulting algorithm, titled Boulevard, is shown to converge as the number of trees grows. We also demonstrate a central limit theorem for this limit, allowing a characterization of uncertainty for predictions. A simulation study and real world examples provide support for both the predictive accuracy of the model and its limiting behavior.

研究の動機と目的

• 予測精度を超える統計的推論を可能にする理論的裏付けのある勾配ブースティングフレームワークの開発。
• 勾配ブースティングツリーの極限分布理論の欠如が不確実性定量化を妨げている問題の解決。
• 逐次的依存性とツリーの相関性を克服することで、ランダムフォレストの推論フレームワークを勾配ブースティングに拡張。
• 勾配ブースティングの収束性と予測の漸近正規性が成立するための条件の確立。
• Boulevard推定量の極限分布を用いた予測区間の構築の実用的メソッドの提供。

提案手法

• Boulevardは、各ブースティング反復においてサブサンプリングを用いることで相関を低減し、安定性を向上させる。
• ツリーを反復回数にわたって平均化する修正されたスリムアップ更新則を用いる：$\hat{f}_{b+1} = \frac{\lambda}{b} \sum_{i=1}^{b} t_i$、これによりアンサンブル平均化が実現される。
• 収束性を維持しながら漸近正規性を実現するため、学習率$\lambda$を比較的高く（1に近づける）に保つ。
• 最終予測値は、平均化効果を補正するため$\frac{1+\lambda}{\lambda}$でスケーリングされる。
• 極限分布は、U統計量に類似た構造と射影の議論を用いて導出され、平均化メカニズムが活用される。
• 確率的分散はアンサンブルから経験的に推定され、共分散行列の保守的近似を用いて再現区間が構築される。

実験結果

リサーチクエスチョン

• RQ1 逐次的ツリー依存性がある中で、正則化勾配ブースティングフレームワークが収束性と漸近正規性を達成できるか。
• RQ2 Boulevard予測の極限分布を保証するためのツリー構築およびサブサンプリングに関する十分条件は何か。
• RQ3 勾配ブースティングツリーに対する予測区間による不確実性定量化は信頼的に構築可能か。
• RQ4 Boulevardの平均化構造は、ランダムフォレストにおけるそれと比較して統計的性質にどのような差異を示すか。
• RQ5 サブサンプリングとスリムアップは、Boulevard予測の分散とバイアスにどのような影響を及ぼすか。

主な発見

• データおよびツリー構築に関するややいilityな正則性条件の下で、Boulevard予測は木の数が増加するにつれてほとんど確実に収束する。
• Boulevard予測の極限分布は漸近的に正規分布に従うため、有効な統計的推論が可能になる。
• シミュレーションスタディでは、テスト点における予測分布が、正規分布、一様分布、Rademacher分布のいずれの誤差分布に対しても、区別不能であることが確認された。
• 定理4.2を用いて構築された再現区間は良好なカバレッジを示し、境界効果のためハイパーキューブの周辺では区間中心に一貫したバイアスが観察された。
• 予測性能はカーネルリッジ回帰と同等であり、複数のテストポイントで類似したMSEを達成した。
• 提案された条件下で、確率的分散項は確率的に収束し、不確実性定量化の理論的基盤が支持された。