[論文レビュー] Accelerating Gradient Boosting Machine

Haihao Lu, Sai Praneeth Karimireddy+2 more|arXiv (Cornell University)|Mar 20, 2019

Stochastic Gradient Optimization Techniques参考文献 35被引用数 5

ひとこと要約

本論文は、弱学習器のフィッティングに補正された仮想残差を用いてネステロフのモーメンタムを組み込むことで、理論的裏付けのある加速勾配ブースティングマシン（AGBM）を提案する。これにより、反復回数mに対してO(1/m²)の収束速度を達成する。AGBMは、特に大規模または複雑なデータセットにおいて、早期停止を組み合わせた場合に、標準GBMよりも訓練損失の低減が早く、反復回数を減らして収束する。

ABSTRACT

Gradient Boosting Machine (GBM) is an extremely powerful supervised learning algorithm that is widely used in practice. GBM routinely features as a leading algorithm in machine learning competitions such as Kaggle and the KDDCup. In this work, we propose Accelerated Gradient Boosting Machine (AGBM) by incorporating Nesterov's acceleration techniques into the design of GBM. The difficulty in accelerating GBM lies in the fact that weak (inexact) learners are commonly used, and therefore the errors can accumulate in the momentum term. To overcome it, we design a "corrected pseudo residual" and fit best weak learner to this corrected pseudo residual, in order to perform the z-update. Thus, we are able to derive novel computational guarantees for AGBM. This is the first GBM type of algorithm with theoretically-justified accelerated convergence rate. Finally we demonstrate with a number of numerical experiments the effectiveness of AGBM over conventional GBM in obtaining a model with good training and/or testing data fidelity.

研究の動機と目的

• 標準勾配ブースティングマシン（GBM）に理論的収束保証が欠けていること、特にO(1/m)の遅い収束速度であるという問題に取り組む。
• 凸最適化からの加速技術を応用して、理論的に速い収束を保証するGBMの変種を開発する。
• 弱学習器を用いたGBMにおいて、モーメンタム項の誤差蓄積という課題を克服する。
• 任意の弱学習器（木構造やオブlivious学習器を含む）と互換性を保ちつつ、理論的厳密性を維持する手法を設計する。
• 加速収束が、実験的に訓練速度の向上と同等または優れたテスト性能にどのように結びつくかを検証する。

提案手法

• 弱学習器のフィッティングのための新しいターゲットとして、z更新ステップにおける標準残差の代わりに補正された仮想残差を導入する。
• 凸最適化分野で知られるネステロフのモーメンタム技術をGBMフレームワークに適応させ、加速収束を実現する。
• 不正確な学習器においても誤差蓄積を防ぐように、モーメンタムと勾配降下を組み合わせた新しい更新ルールを導出する。
• 関数的勾配降下の視点からGBMを最適化問題として定式化し、一次加速手法の適用を可能にする。
• 二段階の更新を採用：まずモーメンタムを用いた予測更新を行い、次に補正された仮想残差による補正ステップを実施して収束を保証する。
• 任意の弱学習器（例：決定木）をフィッティングステップに使用可能であるため、既存のGBMライブラリと互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 不正確な弱学習器が用いられるにもかかわらず、ネステロフの加速技術がGBMフレームワークにうまく適応可能であるか？
• RQ2 提案されたAGBMが、実験的損失低減の観点から、標準GBMよりも理論的に速い収束速度を達成するか？
• RQ3 補正された仮想残差は、ブースティング反復の過程でモーメンタム項に蓄積される誤差をどのように軽減するか？
• RQ4 AGBMは、高速な訓練収束を達成するにもかかわらず、GBMと同等または優れた汎化性能を示せるか？
• RQ5 学習率や早期停止などのハイパーパrameterが、AGBMの過学習行動に与える影響は何か？

主な発見

• AGBMはm反復後、理論的収束速度O(1/m²)を達成し、標準GBMのO(1/m)に比べて顕著に向上する。
• 実験結果では、a1aデータセットにおいて、すべてのテスト学習率（η = 1, 0.1, 0.01）でAGBMがGBMよりも訓練損失を速く低減することが示された。
• 高速な訓練収束にもかかわらず、特にHousingのような小規模データセットでは、損失の急激な低下のため、テスト損失において早期に過学習が発生する傾向を示した。
• 早期停止を組み合わせた場合、AGBMはGBMと同等または優れたテスト性能を達成し、最適性能に到達するための木の数を少なくする傾向がある。
• より大規模または複雑なデータセットでは、AGBMの高速収束により、良好な汎化性能を示す小さなアンサンブルが得られ、スケーラブルな応用に利点をもたらす。
• 補正された仮想残差は収束を維持するために不可欠であり、アブレーションスタディで示されるように、単純なモーメンタムの適用は発散を引き起こす。