[論文レビュー] Breadth-first, Depth-next Training of Random Forests

Andreea Anghel, Nikolas Ioannou+4 more|arXiv (Cornell University)|Oct 15, 2019

Machine Learning and Data Classification参考文献 16被引用数 4

ひとこと要約

本論文は、現代のマルチコアCPUを念頭に置いた、ランダムフォレスト用のハイブリッド幅優先探索と深さ優先探索（BFS-DFS）木構築アルゴリズムを提案する。実行時状態に応じてBFSとDFSモードを動的に切り替え、キャッシュにやさしいメモリレイアウト、明示的プリフェッチ、最小限のヒープ割り当てといった低レベルのシステム最適化を適用することで、最先端のRFソルバー（scikit-learn、H2O、xgboost）に対して平均7.8倍の高速化を達成し、特定のワークロードでは最大100倍の高速化を実現した。

ABSTRACT

In this paper we analyze, evaluate, and improve the performance of training Random Forest (RF) models on modern CPU architectures. An exact, state-of-the-art binary decision tree building algorithm is used as the basis of this study. Firstly, we investigate the trade-offs between using different tree building algorithms, namely breadth-first-search (BFS) and depth-search-first (DFS). We design a novel, dynamic, hybrid BFS-DFS algorithm and demonstrate that it performs better than both BFS and DFS, and is more robust in the presence of workloads with different characteristics. Secondly, we identify CPU performance bottlenecks when generating trees using this approach, and propose optimizations to alleviate them. The proposed hybrid tree building algorithm for RF is implemented in the Snap Machine Learning framework, and speeds up the training of RFs by 7.8x on average when compared to state-of-the-art RF solvers (sklearn, H2O, and xgboost) on a range of datasets, RF configurations, and multi-core CPU architectures.

研究の動機と目的

• 現代のマルチコアCPUアーキテクチャにおけるランダムフォレスト学習のパフォーマンスを向上させるために、木構築アルゴリズムの分析と最適化を行う。
• メモリアクセスパターンとキャッシュ効率の観点から、幅優先探索（BFS）と深さ優先探索（DFS）の木構築戦略のトレードオフを調査する。
• ワークロードとハードウェア特性に応じて動的にBFSとDFSモードを切り替えるハイブリッド木構築アルゴリズムを設計する。
• メモリアクセスパターンや動的メモリ割り当てのオーバーヘッドといった、システムレベルのパフォーマンスボトルネックを同定し、解決する。
• 実世界のパフォーマンス向上を実現するため、Snap Machine Learningフレームワーク内に提案された最適化を実装・評価する。

提案手法

• 実行時ワークロード特性とパフォーマンスヒューリスティクスに応じて、幅優先と深さ優先の走査を切り替える動的ハイブリッドBFS-DFSアルゴリズムを設計する。
• すべての木に再利用可能な、共有メモリ上の読み取り専用事前ソート済み行列を1つだけ実装し、ソートコストを均等に分散させる。
• データ構造の再編成と空間局所性の向上により、CPUキャッシュに配慮したメモリアクセスパターンを最適化する。
• メモリレイテンシを隠し、命令レベルの並列性を向上させるために、明示的なハードウェアプリフェッチを採用する。
• メモリプールの再利用と木構築中のヒープ割り当ての最小化により、動的メモリ割り当てのオーバーヘッドを低減する。
• エンドツーエンドの評価を可能にするために、最適化された木構築パイプラインをSnap Machine Learningフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 現代のマルチコアCPU上で、BFSとDFSの木構築戦略は、パフォーマンスとキャッシュ効率の観点でどのように比較されるか？
• RQ2 ハイブリッドBFS-DFSアルゴリズムは、さまざまなワークロードに動的に適応でき、純粋なBFSおよびDFS戦略を上回る性能を発揮できるか？
• RQ3 現代のCPU上で高性能なランダムフォレスト学習を妨げるシステムレベルのボトルネックは何か？
• RQ4 キャッシュに配慮したメモリレイアウトやプリフェッチといった低レベル最適化は、学習スループットをどの程度向上できるか？
• RQ5 提案されたハイブリッドアルゴリズムは、多様なデータセット、RF設定、CPUアーキテクチャにおいて、最先端のソルバーと比較してどのように性能を発揮するか？

主な発見

• ハイブリッドBFS-DFSアルゴリズムは、ワークロード特性に応じて動的に適応することで、純粋なBFSおよびDFS戦略を上回り、より優れた耐障害性とパフォーマンスを実現した。
• 複数のデータセットとCPUアーキテクチャを対象に、提案された実装はscikit-learn、H2O、xgboostに対して平均7.8倍の高速化を達成した。
• IBM Power9システムでは、特に100本の木からなる大きなアンサンブルの場合、最大100倍の高速化が達成された。
• 100本の木を用いた場合、Power9システムではH2Oに対して33.3倍、x86システムでは15.2倍の高速化が達成され、アンサンブルサイズに伴う良好なスケーリングを示した。
• システムレベルの最適化——キャッシュに配慮したメモリレイアウト、明示的プリフェッチ、ヒープ割り当ての削減——が、性能向上に寄与していることが明らかになった。
• すべてのフレームワークでテスト精度が一貫しており、パフォーマンス向上がモデルの一般化性能に悪影響を及げないことを確認した。