[論文レビュー] Gradient Boosted Binary Histogram Ensemble for Large-scale Regression

Hanyuan Hang, Tao Huang+3 more|arXiv (Cornell University)|Jun 3, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用数 7

ひとこと要約

本稿では、勾配ブースティングとランダム回転およびバイナリヒストグラム分割を用いたアンサンブル学習を組み合わせた、大規模な回帰問題を対象とした新規なアルゴリズム、勾配ブースティングバイナリヒストグラムアンサンブル（GBBHE）を提案する。回転されたバイナリヒストグラムをベースラーナーとして用い、複数のこのようなアンサンブルを平均化することで、高速な収束速度と優れた計算効率を達成しており、ホーラー連続関数空間において理論的保証が得られ、大規模データセットにおいてGBRT、ランダムフォレスト、カーネル法よりも実験的に優れた性能を示す。

ABSTRACT

In this paper, we propose a gradient boosting algorithm for large-scale regression problems called extit{Gradient Boosted Binary Histogram Ensemble} (GBBHE) based on binary histogram partition and ensemble learning. From the theoretical perspective, by assuming the Hölder continuity of the target function, we establish the statistical convergence rate of GBBHE in the space $C^{0,α}$ and $C^{1,0}$, where a lower bound of the convergence rate for the base learner demonstrates the advantage of boosting. Moreover, in the space $C^{1,0}$, we prove that the number of iterations to achieve the fast convergence rate can be reduced by using ensemble regressor as the base learner, which improves the computational efficiency. In the experiments, compared with other state-of-the-art algorithms such as gradient boosted regression tree (GBRT), Breiman's forest, and kernel-based methods, our GBBHE algorithm shows promising performance with less running time on large-scale datasets.

研究の動機と目的

• 大規模かつ高次元な回帰問題における従来のブースティングアルゴリズムの限界を克服し、計算効率と統計的ロバスト性を向上させること。
• 高次元における従来のヒストグラムの指数的セル数増加を、バイナリヒストグラム分割とランダム回転によって克服すること。
• C^{0,\beta}およびC^{1,0}空間におけるブースティングの理論的収束速度を確立し、アンサンブルベースラーナーを用いることで一般化性能の向上と反復回数の削減を示すこと。
• 最新の手法（GBRT やランダムフォレストなど）と比較して、訓練時間を短縮しつつも強力な実験的性能を維持できるスケーラブルなアルゴリズムの設計

提案手法

• GBBHEは、ベースラーナー間の多様性を高め、相関を低減するために入力特徴量のランダム回転を用いる。
• バイナリヒストグラム分割は、入力空間を等しい深さのセルに分割することで、バランスの取れた分割を実現し、高次元におけるスパarsityへの過剰適合を回避する。
• 各ブースティング反復において、複数の回転されたバイナリヒストグラムアンサンブルを生成し、それらを平均化して頑健なベースラーナーを形成することで、一般化性能を向上させる。
• アルゴリズムは、残差をアンサンブルベースラーナーでフィッティングすることで、経験的リスクを段階的に最小化する勾配降下法を適用する。
• 過学習を制御し、高次元設定下での安定性を確保するため、正則化された経験的リスク最小化を組み込む。
• 理論的分析により、ホーラー空間における収束速度が確立され、C^{1,0}空間でアンサンブルベースラーナーを用いることで反復効率が向上することが示された。

実験結果

リサーチクエスチョン

• RQ1 回転されたバイナリヒストグラムアンサンブルを用いた勾配ブースティングフレームワークは、大規模回帰においてより高速な収束と優れた一般化性能を達成できるか？
• RQ2 アンサンブルベースラーナーの使用が、C^{1,0}空間における最適収束に到達するまでの反復回数に与える影響は何か？
• RQ3 GBBHEのホーラー連続関数空間C^{0,\beta}およびC^{1,0}における理論的収束速度は何か？
• RQ4 大規模データセットにおいて、GBRT、ランダムフォレスト、カーネルベース手法と比較して、GBBHEの計算効率と予測精度はどのように異なるか？
• RQ5 ランダム回転とバイナリヒストグラム分割の組み合わせは、高次元回帰における次元の呪いを緩和できるか？

主な発見

• GBBHEは、C^{0,\beta}空間でO(n^{\frac{\beta}{2\beta + d}})、C^{1,0}空間でO(n^{-\frac{1}{2}})の理論的収束速度を達成し、アンサンブルベースラーナーを用いることで反復効率が向上する。
• C^{1,0}空間における高速収束に到達するための反復回数は、アンサンブルベースラーナーを用いることで削減され、計算効率が向上する。
• 実験的結果から、大規模データセットにおいてGBRT、ランダムフォレスト、カーネルベース手法よりも精度と実行時間の両面でGBBHEが優れていることが示された。
• 過剰リスクの下界は、c_0 n^{\frac{\beta}{2\beta + d}} \vee c_1 であり、c_0とc_1はデータ分布とノイズに依存する定数である。
• ランダム回転とヒストグラムアンサンブルによる多様性のおかげで、回帰関数のグローバルな滑らかさが維持される。
• 標準ヒストグラムの指数的セル数増加を回避するため、一度に1次元のみを分割する仕組みを採用しており、高次元データに適している。