[論文レビュー] Benchmarking state-of-the-art gradient boosting algorithms for classification

Piotr Florek, Adam Zagdański|arXiv (Cornell University)|May 26, 2023

Machine Learning and Data Classification被引用数 11

ひとこと要約

この論文は4つの勾配ブースティングのバリアント（GBM、XGBoost、LightGBM、CatBoost）を12の多様なデータセットでベンチマークし、ランダムサーチとベイズ最適化（TPE）を用いた基盤モデルと調整済みモデルを比較します。

ABSTRACT

This work explores the use of gradient boosting in the context of classification. Four popular implementations, including original GBM algorithm and selected state-of-the-art gradient boosting frameworks (i.e. XGBoost, LightGBM and CatBoost), have been thoroughly compared on several publicly available real-world datasets of sufficient diversity. In the study, special emphasis was placed on hyperparameter optimization, specifically comparing two tuning strategies, i.e. randomized search and Bayesian optimization using the Tree-stuctured Parzen Estimator. The performance of considered methods was investigated in terms of common classification accuracy metrics as well as runtime and tuning time. Additionally, obtained results have been validated using appropriate statistical testing. An attempt was made to indicate a gradient boosting variant showing the right balance between effectiveness, reliability and ease of use.

研究の動機と目的

• 多様な実データセットに対して堅牢で適応性のある勾配ブースティング手法の必要性を動機づける。
• 分類タスクにおいて標準のGBM、XGBoost、LightGBM、CatBoostを体系的に比較する。
• パフォーマンスと効率に対する2つのハイパーパラメータ調整戦略（ランダムサーチとベイズ最適化）の影響を評価する。
• 実務家に向けて、効果性・信頼性・使いやすさのバランスを取るための指針を提供する。）

提案手法

• 元々のGBMと3つの最先端勾配ブースティングフレームワーク（XGBoost、LightGBM、CatBoost）をレビューし要約する。
• ベースライン（未調整）モデルと、ベイズ最適化（Tree-structured Parzen Estimators）またはランダムサーチで調整されたモデルを比較する。
• 特性が異なる12の公開データセットを使用する（2クラス/多クラス、ハイ次元、スパース、画像/テキスト前処理）。
• データセットごとにすべてのモデルで同一の分割を用いた5分割チューニングと10分割評価のクロスバリデーションを適用し、精度、F1、AUC、実行時間、調整時間を測定する。
• 分類器の性能差を評価するために、Friedman検定・Nemenyi事後検定などの統計テストを適用する。
• カテゴリカル特徴をモデル間で一貫してエンコードし、公平な比較を確保するためにデータ前処理を適切に行う。）

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおいて、GBM、XGBoost、LightGBM、CatBoostは精度、F1、AUCの観点でどのように比較されるか？
• RQ2 各手法について、ハイパーパラメータ調整（ランダムサーチ vs ベイズ最適化）が性能と学習時間に与える影響はどれか？
• RQ3 実世界データ設定全体で、最も効果・信頼性・使いやすさのバランスが良い勾配ブースティングのバリアントはどれか？

主な発見

• ベースラインのXGBoostとCatBoostは一般に他より高いAUC、精度、F1を達成するが、データセットによって結果は異なる。
• LightGBMは高速な学習時間を示すが、データセット間での性能はより変動する。
• GBM（元のFriedmanバリアント）は、現代の実装と比べてしばしばパフォーマンスが劣る。
• ハイパーパラメータ調整は各手法の性能を向上させ、ベイズ最適化とランダムサーチはデータセットと手法に応じて異なる利得をもたらす。
• データセット全体で、すべての指標で優位に立つ単一のアルゴリズムはなく、データセットの特徴とリソース制約に依存する。
• 非パラメトリックな統計検定を用いて手法間の性能差を検証する。