[論文レビュー] Faster Boosting with Smaller Memory

Julaiti Alafate, Yoav Freund|arXiv (Cornell University)|Jan 25, 2019

Machine Learning and Data Classification参考文献 17被引用数 4

ひとこと要約

本論文では、早期停止、有効サンプルサイズの推定、および層別加重サンプリングを組み合わせることで、大規模データセット上でXGBoostやLightGBMに比べて10–100倍の高速化を達成するメモリ効率の良いブースティング手法Sparrowを提案する。この手法は動的に小さな代表的訓練サンプルをメモリ上に維持することで、I/Oオーバーヘッドを低減しながら、特にメモリに収まりきらないデータの場合でもモデルの精度を保持する。

ABSTRACT

State-of-the-art implementations of boosting, such as XGBoost and LightGBM, can process large training sets extremely fast. However, this performance requires that the memory size is sufficient to hold a 2-3 multiple of the training set size. This paper presents an alternative approach to implementing the boosted trees, which achieves a significant speedup over XGBoost and LightGBM, especially when the memory size is small. This is achieved using a combination of three techniques: early stopping, effective sample size, and stratified sampling. Our experiments demonstrate a 10-100 speedup over XGBoost when the training data is too large to fit in memory.

研究の動機と目的

• 利用可能なメインメモリを超える大規模データセットにおける勾配ブースティングの性能ボトルネックを解消すること。
• モデルの精度を損なわず、メモリ制限のある環境での学習時間を短縮すること。
• 動的にメモリ上に小さな代表的訓練データサンプルを維持するブースティングアルゴリズムを設計すること。
• 新しいサンプリングおよびストップリング戦略を用いて、メインメモリを超えるデータセットに対しても効率的な学習を可能にすること。

提案手法

• 各ブースティングイテレーションあたりスキャンする例の数を最小化するために、逐次分析に基づく早期停止を採用する。
• 歪んだ重み分布下での勾配推定の統計的信頼性を測るため、有効な例の数（$n_{\text{eff}}$）を導入する。
• 高いスケーリング歪みを持つ重み付きデータから効率的にサンプリングするため、層別加重サンプリングを用いる。これにより、最大50%のリジェクト率を保証する。
• 有効サンプルサイズの割合 $n_{\text{eff}}/n$ がしきい値未満に下がると、メモリ内のサンプルを動的にフラッシュおよび置き換える。これにより、代表性が保たれる。
• これらの技術を統合して、従来の研究で用いられる固定しきい値に起因するバイアスを回避する新しいブースティングフレームワーク、Sparrowを構築する。
• 信頼区間を用いて推定の正確さと計算コストのバランスを取るストップリングルールを実装する。

実験結果

リサーチクエスチョン

• RQ1 利用可能なメインメモリを超えるデータセットに対して、精度を損なわずブースティングの速度を著しく向上させることは可能か？
• RQ2 信頼性の高い勾配推定を維持しつつ、各ブースティングイテレーションあたりのスキャン例数をどのように削減できるか？
• RQ3 ブースティングにおける重み付きサンプルの統計的品質を効果的に測る指標は何か？
• RQ4 重みが極めて偏っている場合でも、効率的なサンプリング戦略を設計することは可能か？
• RQ5 有効サンプルサイズに基づく動的サンプル置換により、学習効率はどのように向上するか？

主な発見

• バティメトリー・データセット（6億例）では、SparrowはXGBoostやLightGBMに比べて10–20倍の高速化を達成した。これは、メモリ容量がデータセットサイズを上回っている場合でも同様に成立する。
• スプライスサイト・データセット（5000万例）では、Sparrowは8GBのメモリで正常に学習を実行したが、XGBoostの外部メモリモードでは少なくとも15GBが必要であり、3倍遅くなった。
• LightGBMおよびインメモリXGBoostは、244GB未満のメモリで学習を実行するとクラッシュしたが、Sparrowは安定的かつ効率的に動作した。
• Sparrowは、すべてのメモリ設定において、AUROCと学習速度の両面でベースラインを上回った。特に低メモリ環境下で顕著な優位性を示した。
• Sparrowは、固定しきい値を用いた従来のアプローチとは異なり、サンプリングに起因するバイアスが生じず、フルデータベースラインと同等の高い精度を維持した。