[論文レビュー] FastBDT: A speed-optimized and cache-friendly implementation of stochastic gradient-boosted decision trees for multivariate classification

Thomas M. Keck|arXiv (Cornell University)|Sep 20, 2016

Gaussian Processes and Bayesian Inference参考文献 2被引用数 14

ひとこと要約

FastBDT は、多変量分類のための確率的勾配ブースティング決定木の高速でキャッシュにやさしい実装であり、TMVA や scikit-learn、XGBoost と比較して、学習段階および推論段階の両方で 10 倍の高速化を達成している。等頻度ビニングを用いて浮動小数点演算を整数演算に置き換え、CPU キャッシュの利用を向上させるために線形メモリアクセスパターンを強制することで実現している。

ABSTRACT

Stochastic gradient-boosted decision trees are widely employed for multivariate classification and regression tasks. This paper presents a speed-optimized and cache-friendly implementation for multivariate classification called FastBDT. FastBDT is one order of magnitude faster during the fitting-phase and application-phase, in comparison with popular implementations in software frameworks like TMVA, scikit-learn and XGBoost. The concepts used to optimize the execution time and performance studies are discussed in detail in this paper. The key ideas include: An equal-frequency binning on the input data, which allows replacing expensive floating-point with integer operations, while at the same time increasing the quality of the classification; a cache-friendly linear access pattern to the input data, in contrast to usual implementations, which exhibit a random access pattern. FastBDT provides interfaces to C/C++, Python and TMVA. It is extensively used in the field of high energy physics by the Belle II experiment.

研究の動機と目的

• 高スループット応用における確率的勾配ブースティング決定木（SGBDT）の学習とデプロイの性能ボトルネックを解消すること。
• 分類品質を損なわず、学習段階および推論段階の両方の計算遅延を低減すること。
• 決定木の学習における CPU キャッシュ効率を向上させるために、メモリアクセスパターンを最適化すること。
• 高エネルギー物理学およびリアルタイム学習システムにおける高速でスケーラブルな多変量分類を可能にすること。
• データ駆動型の信号とバックグラウンドの分離や欠損値処理のための負の重みおよび NaN/inf 値のサポートを実装し、実世界への堅牢なデプロイを可能にすること。

提案手法

• 入力特徴量に対して等頻度ビニングを適用し、学習段階で浮動小数点演算を効率的な整数演算に置き換える。
• ヒストグラム計算中にキャッシュミスを最小限に抑えるために、線形的でキャッシュにやさしいメモリアクセスパターンを強制する。
• 各ブースティング段階で確率的サブサンプリング（サブサンプリング率 α）を用いることで、汎化性能を向上させ、過学習を軽減する。
• 最終的な信号確率を計算するために、木の出力のシグモイド変換された和を実装する。これは勾配ブースティングで標準的である。
• データ駆動型の信号とバックグラウンドの分離のための個々の負の重みと、欠損データ処理のための NaN および inf 値のサポートを実装する。
• 反復的な特徴量の削除による AUC 減少に基づく特徴量重要度推定法を導入し、高速な学習のおかげで実用的である。

実験結果

リサーチクエスチョン

• RQ1 再アーキテクチャされた SGBDT 実装は、既存のフレームワークと比較して、学習段階および推論段階の両方で 10 倍の高速化を達成できるか？
• RQ2 等頻度ビニングは、勾配ブースティング決定木の両方の速度と分類性能を向上させるか？
• RQ3 キャッシュにやさしいメモリアクセスパターンは、CPU キャッシュミスをどの程度低減し、実行時間を改善するか？
• RQ4 高速な学習により、AUC を用いたパーミュテーションに基づく計算コストの高い特徴量重要度推定が実用的に行えるか？
• RQ5 FastBDT の性能は、高エネルギー物理学のような多様なデータセットおよび実世界のユースケースにおいて、どの程度スケーリング可能か？

主な発見

• FastBDT は、TMVA、scikit-learn、XGBoost と比較して、学習段階で 10 倍の高速化を達成しており、データセットにかかわらず一貫した性能を示している。
• アプリケーション段階（推論段階）も 10 倍高速であり、高スループット環境でのリアルタイム推論を可能にしている。
• 等頻度ビニングにより、数値的不安定性が低減され、分離ゲイン推定が向上することで分類品質が向上している。
• キャッシュにやさしいメモリアクセスにより、CPU キャッシュミスが低減され、性能向上に顕著な寄与をしている。
• FastBDT は負の重みおよび欠損値（NaN および inf）のサポートを実装しており、高エネルギー物理学における複雑なデータの堅牢な処理を可能にしている。
• 高速な学習により、AUC を用いた特徴量重要度推定が実用的に行えるようになり、従来の遅いフレームワークでは不可能であった。