[論文レビュー] Runtime Optimizations for Prediction with Tree-Based Models

Nima Asadi, Jimmy Lin+1 more|arXiv (Cornell University)|Dec 11, 2012

Machine Learning and Data Classification参考文献 21被引用数 5

ひとこと要約

この論文では、キャッシュフレンドリーなメモリレイアウト、分岐のない予測、およびベクトル化されたマイクロバッチ処理といった、アーキテクチャに配慮した最適化手法を提案し、木ベースの機械学習モデルにおける予測を高速化する。現代のCPU機能（キャッシュ階層やスーパスカラ実行）を活用することで、標準的なif-else実装と比較して、実世界のラーニング・トゥ・ランクワークロードにおいて最大38％の高速化を達成した。

ABSTRACT

Tree-based models have proven to be an effective solution for web ranking as well as other problems in diverse domains. This paper focuses on optimizing the runtime performance of applying such models to make predictions, given an already-trained model. Although exceedingly simple conceptually, most implementations of tree-based models do not efficiently utilize modern superscalar processor architectures. By laying out data structures in memory in a more cache-conscious fashion, removing branches from the execution flow using a technique called predication, and micro-batching predictions using a technique called vectorization, we are able to better exploit modern processor architectures and significantly improve the speed of tree-based models over hard-coded if-else blocks. Our work contributes to the exploration of architecture-conscious runtime implementations of machine learning algorithms.

研究の動機と目的

• 現代のCPUアーキテクチャの非効率な使用が原因で生じる木ベースモデル推論における性能ボトルネックを解消すること。
• 低レベルのハードウェアに配慮した最適化が、機械学習システムにおける予測速度を顕著に向上させることの可能性を探ること。
• 単純な、アーキテクチャに配慮した実装が、ウェブ検索や金融取引といった実世界の応用分野で顕著な改善をもたらす可能性があることを示すこと。
• データベースシステム研究と機械学習の間のギャップを埋めるために、情報検索およびMLワークロードにハードウェアに配慮した最適化技術を適用すること。

提案手法

• キャッシュフレンドリーで配列ベースのレイアウトを用いて、木のデータ構造をメモリ上に再配置することで、局所性を向上させ、キャッシュミスを削減する。
• 木の走査における条件分岐を、予測（分岐なし実行）に置き換えることで、パイipelラインスタールを排除し、命令レベル並列性を向上させる。
• SIMD命令を用いて複数の予測を並列処理するベクトル化を適用し、現代のスーパスカラプロセッサ上でスループットを最大化する。
• マイクロバッチ処理を導入することで、メモリアクセスコストを均等に分散させ、複数のインスタンスにわたるCPU実行ユニットの利用効率を向上させる。
• 予測とベクトル化を効率的に行えるように、ダミーノードを含む完全にバランスの取れた木の表現を採用し、元の木が非平衡であっても最適化を可能にする。
• 標準的なラーニング・トゥ・ランクデータセット（例：MSLR）を用い、実世界のワークロードで評価することで、エンドツーエンドの遅延削減を測定する。

実験結果

リサーチクエスチョン

• RQ1 低レベルの、アーキテクチャに配慮した最適化は、木ベースモデルにおける予測遅延を顕著に短縮できるか？
• RQ2 キャッシュフレンドリーなレイアウト、予測、およびベクトル化は、単純なif-else実装と比較してどの程度性能を向上させるか？
• RQ3 これらの最適化は、ウェブ検索エンジンや高頻度取引プラットフォームといった実世界のシステムでどのようにスケーリングするか？
• RQ4 最適化のためのバランスの取れた木構造と均一なパス分布を強制する際の性能的トレードオフは何か？

主な発見

• VPred実装により、MSLRデータセットにおける1件あたりの予測時間が40 μsから25 μsに短縮され、38％の遅延削減を達成した。
• シングルスレッドのウェブ検索パイプラインにおいて、200件の候補を再ランク付けする際、最適化により1秒あたりのクエリスループットが125から200に向上した。
• 個々の木の予測においてもナノ秒レベルの改善が測定可能であり、最大38％の向上が確認された。
• パス頻度が偏った非平衡木では、分岐予測の利点が予測の恩恵を相殺する傾向にあり、モデルに配慮した木構造設計の必要性が示された。
• 学習段階でのペナルティを用いてバランスの取れた木構造と均一な特徴空間の分割を強制することで、さらなる性能向上が見られたことから、モデル学習と推論最適化の相乗効果が示唆された。