[論文レビュー] Benchmarking and Optimization of Gradient Boosted Decision Tree Algorithms

Andreea Anghel, Nikolaos Papandreou+3 more|arXiv (Cornell University)|Sep 12, 2018

Machine Learning and Data Classification参考文献 19被引用数 18

ひとこと要約

この論文は、XGBoost、LightGBM、CatBoostを用いて、多様なデータセットにおいてGPUアクセラレーションを活用した勾配ブースティング決定木（GBDT）アルゴリズムのベンチマークと最適化を実施している。ハイパーパrameter最適化における収束速度と汎化性能を評価し、GPUアクセラレーション実装が訓練時間を顕著に短縮するとともに、モデルの精度を維持または向上させることを示している。

ABSTRACT

Gradient boosting decision trees (GBDTs) have seen widespread adoption in academia, industry and competitive data science due to their state-of-the-art performance in many machine learning tasks. One relative downside to these models is the large number of hyper-parameters that they expose to the end-user. To maximize the predictive power of GBDT models, one must either manually tune the hyper-parameters, or utilize automated techniques such as those based on Bayesian optimization. Both of these approaches are time-consuming since they involve repeatably training the model for different sets of hyper-parameters. A number of software GBDT packages have started to offer GPU acceleration which can help to alleviate this problem. In this paper, we consider three such packages: XGBoost, LightGBM and Catboost. Firstly, we evaluate the performance of the GPU acceleration provided by these packages using large-scale datasets with varying shapes, sparsities and learning tasks. Then, we compare the packages in the context of hyper-parameter optimization, both in terms of how quickly each package converges to a good validation score, and in terms of generalization performance.

研究の動機と目的

• GPUアクセラレーションが3つの主要なGBDTライブラリ（XGBoost、LightGBM、CatBoost）に与える影響を評価すること。
• ハイパーパrameter最適化における収束速度の観点から、これらのライブラリを比較すること。
• 異なるデータ形状、スパarsity、学習タスクにおける汎化性能を評価すること。
• GPUアクセラレーション下で、訓練効率と予測精度のバランスが最良となるGBDT実装を特定すること。

提案手法

• 次元数、スパarsityレベル、学習タスクが異なる大規模データセットにおけるGPUアクセラレーテッドトレーニングの評価。
• 3つのGBDTライブラリにおいて、ベイズ最適化を用いたハイパーパrameter最適化のベンチマーク。
• ハイパーパrameterチューニング中の最適なバリデーションスコアへの収束速度の測定。
• 交差検証およびテストセット評価を用いた汎化性能の比較。
• 公平な比較を確保するため、標準化されたデータ前処理および評価プロトコルの使用。

実験結果

リサーチクエスチョン

• RQ1 XGBoost、LightGBM、CatBoostにおいて、GPUアクセラレーションが多様なデータセット上で訓練速度にどのように影響するか？
• RQ2 ハイパーパrameter最適化中に、どのGBDTライブラリが最も速く高いバリデーションスコアに収束するか？
• RQ3 GPUアクセラレーション下でのXGBoost、LightGBM、CatBoostの汎化性能はどのように比較できるか？
• RQ4 データのスパarsityや形状に応じて、GBDTライブラリの選択がモデル性能に異なる影響を与えるか？

主な発見

• GPUアクセラレーションにより、3つのGBDTライブラリすべてで訓練時間が顕著に短縮された。特に、LightGBMはほとんどのベンチマークシナリオで最も速い収束を示した。
• スパースで高次元のデータセットでは、CatBoostが最も優れた汎化性能を示し、複数のテストケースでXGBoostやLightGBMを上回った。
• XGBoostは、密で中程度のサイズのデータセットにおいて、収束速度と安定性の両面で優れたパフォーマンスを発揮した。
• ライブラリの相対的なパフォーマンスはデータの特性によって変化し、LightGBMは速度面で優れており、CatBoostは挑戦的なデータタイプにおいて精度面で優位であった。