[論文レビュー] Re-scale boosting for regression and classification

Shao-Bo Lin, Yao Wang+1 more|arXiv (Cornell University)|May 6, 2015

Machine Learning and Data Classification参考文献 36被引用数 5

ひとこと要約

本稿では、各反復において合成推定子にスケーリング作用素を適用することで収束を加速する、新しいブースティングの変種であるRe-scale Boosting (RBoosting) を提案する。この手法は、$\mathcal{O}(k^{-1/2}\log k)$ の近似的に最適な数値収束速度と、きわめてタイトな一般化誤差バウンドを達成し、回帰および分類の両タスクにおいて、標準ブースティングに比べて学習性能が顕著に向上する。

ABSTRACT

Boosting is a learning scheme that combines weak prediction rules to produce a strong composite estimator, with the underlying intuition that one can obtain accurate prediction rules by combining "rough" ones. Although boosting is proved to be consistent and overfitting-resistant, its numerical convergence rate is relatively slow. The aim of this paper is to develop a new boosting strategy, called the re-scale boosting (RBoosting), to accelerate the numerical convergence rate and, consequently, improve the learning performance of boosting. Our studies show that RBoosting possesses the almost optimal numerical convergence rate in the sense that, up to a logarithmic factor, it can reach the minimax nonlinear approximation rate. We then use RBoosting to tackle both the classification and regression problems, and deduce a tight generalization error estimate. The theoretical and experimental results show that RBoosting outperforms boosting in terms of generalization.

研究の動機と目的

• 伝統的なブースティングの遅い数値収束速度が学習効率と一般化性能を制限する問題に取り組む。
• 収束速度を向上させつつ予測精度を維持または向上させる新しいブースティングフレームワークを開発する。
• 辞書に関する最小限の仮定の下で収束速度、一致性、一般化誤差バウンドの理論的保証を確立する。
• RBoostingが標準ブースティングおよびRSboosting、RTboosting、ε-boostingなどの他の変種を上回ることを実験的に検証する。

提案手法

• 前回の反復からの合成推定子に変更を加える再スケーリング作用素を導入し、スケーリングにより段階的にステップサイズを動的に調整する。
• 再スケーリングを累積モデルに適用するグリーディアルゴリズムとしてのRBoostingを定式化し、個々の弱学習器ではなく、合成モデル全体にスケーリングを施す。
• 収縮パラメータ$\alpha_k$を組み込んだ修正されたラインサーチを用いて、RBoostingの更新則を導出する。
• 理論的分析は近似理論に依拠し、弱学習器の辞書を用いたリスク最小化と、非線形近似理論を用いた収束速度の導出を行う。
• 一般化誤差バウンドは経験過程理論を用いて導出され、$k^{-1}$および$k(\log m + \log k)/m$に依存するが、これはより高い標本効率を示している。
• 回帰（$L_2$ブースティング）および分類（再スケーリングAdaBoost、LogitBoost）の両方のRBoostingバージョンを実装し、設定間で一貫した理論的取り扱いを実現。

実験結果

リサーチクエスチョン

• RQ1 合成推定子に再スケーリング機構を適用することで、標準手法を上回るブースティングの数値収束速度を達成できるか？
• RQ2 このような再スケーリング戦略によって達成可能な最適な収束速度は何か？ また、ミニマックス非線形近似レートと比較してどうなるか？
• RQ3 RBoostingは、RSboosting や ε-boosting などの他の変種と比較して、よりタイトな一般化誤差バウンドを達成するか？
• RQ4 辞書に関する緩い仮定と柔軟な反復回数のもとで、RBoostingは一貫性を示すか？
• RQ5 収縮パラメータ$\alpha_k$の選択が収束と性能に与える影響は何か？ また、モデル選択によって最適化可能か？

主な発見

• RBoostingは、$\mathcal{O}(k^{-1/2}\log k)$ の近似的に最適な数値収束速度を達成し、元のブースティングの収束速度$\mathcal{O}(k^{-0.1898})$ よりも顕著に速い。
• RBoostingの一般化誤差バウンドは、$\mathbf{E}\{Q(f_k) - Q(h)\} \leq C(\|h\|_1^2 + \log k)k^{-1} + \frac{4\mathcal{C}_1C_3k(\log m + \log k)}{3m}$ であり、タイトで改善された誤差推定を示している。
• RBoostingは、辞書に関する緩い仮定と柔軟な反復回数のもとで一貫性を示し、ブースティングの理論的基盤を拡張している。
• 実験結果では、RBoostingは標準ブースティングを上回り、回帰および分類の両タスクでRSboosting、RTboosting、ε-boosting などの他の変種と同等以上に性能を発揮している。
• 収縮パラメータ$\alpha_k$は極めて重要な役割を果たす：小さすぎると収束が遅くなる（標準ブースティングと同様）、大きすぎても性能が劣化するため、モデル選択による慎重な選択が不可欠である。
• 理論的分析により、RBoostingの収束速度は本質的に改善できないことが判明し、非線形近似の文脈においてその近的最適性が確認された。