[論文レビュー] Willump: A Statistically-Aware End-to-end Optimizer for Machine Learning Inference

Peter Kraft, Daniel Kang+4 more|arXiv (Cornell University)|Jun 3, 2019

Machine Learning and Data Classification参考文献 41被引用数 8

ひとこと要約

Willump は、機械学習推論のための統計的に注意を払ったエンドツーエンド最適化ツールであり、自動的に2つの新しい最適化を適用する。1つは、実験的に選択された低コストで高効果な特徴量を用いた特徴量の段階的処理による分類の高速化であり、もう1つは自動的に構築された代替モデルを用いた近似型 top-K クエリ処理である。Willump は、実世界の ML パイプラインにおいて、統計的に有意な精度の損失なしに、最大 16× のエンドツーエンドの性能向上を達成している。同時に、コード生成のための標準的なコンパイラ最適化も適用している。

ABSTRACT

Systems for ML inference are widely deployed today, but they typically optimize ML inference workloads using techniques designed for conventional data serving workloads and miss critical opportunities to leverage the statistical nature of ML. In this paper, we present Willump, an optimizer for ML inference that introduces two statistically-motivated optimizations targeting ML applications whose performance bottleneck is feature computation. First, Willump automatically cascades feature computation for classification queries: Willump classifies most data inputs using only high-value, low-cost features selected through empirical observations of ML model performance, improving query performance by up to 5x without statistically significant accuracy loss. Second, Willump accurately approximates ML top-K queries, discarding low-scoring inputs with an automatically constructed approximate model and then ranking the remainder with a more powerful model, improving query performance by up to 10x with minimal accuracy loss. Willump automatically tunes these optimizations' parameters to maximize query performance while meeting an accuracy target. Moreover, Willump complements these statistical optimizations with compiler optimizations to automatically generate fast inference code for ML applications. We show that Willump improves the end-to-end performance of real-world ML inference pipelines curated from major data science competitions by up to 16x without statistically significant loss of accuracy.

研究の動機と目的

• 特徴量の計算が実行時間の大部分を占める ML 推論パイプラインにおける性能ボトルネックを解消すること。
• 分類や top-K クエリにおいて特に顕著な ML ワークロードの統計的性質を活用し、自動的かつモデルに依存しない最適化を導入すること。
• 最適化パrameter の自動チューニングにより、モデルの精度を損なわず推論効率を向上させること。
• 統計的最適化をエンドツーエンドのコンパイラ最適化と組み合わせ、効率的なコード生成を実現すること。
• 手動による特徴量コストの注釈やモデル固有のチューニングを必要としない、多様な ML パイプラインに適用可能な汎用システムを提供すること。

提案手法

• Willump は、特徴量の重要性と計算コストに関する実験的観察に基づいてコストモデルを構築し、高価値かつ低コストの特徴量を特定して段階的分類に活用する。
• 選択されたこれらの特徴量上で近似モデルを学習させ、容易な入力を素早く分類し、困難な入力はフルモデルに段階的に渡して高い精度を達成する。
• top-K クエリの文脈では、自動的に生成された近似モデルを用いてスコアが低い入力を早期に除外し、残りの入力をより正確なモデルで順序付けする。
• システムは、パフォーマンスを最大化すると同時にユーザーが定義した精度目標を満たすように、段階的処理および近似のパrameter を自動的にチューニングする。
• Weld コンパイルスタックと統合して、ループの統合やベクトル化などの標準的な最適化を適用し、効率的なコード生成を実現する。
• 計算的に依存する特徴量を処理し、段階的実行における正しさを保証するため、データフローおよび依存関係解析を実施する。

実験結果

リサーチクエスチョン

• RQ1 実験的パフォーマンス観察に基づく自動的特徴量の段階的処理は、精度の損失を最小限に抑えつつ、ML 推論の性能を顕著に向上させることができるか？
• RQ2 近似モデルを自動的に構築することで、順序付けの品質を損なわず、ML 推論における top-K クエリの処理を高速化できるか？
• RQ3 特徴量コストやモデルの不確実性といった ML 推論の統計的特性を、エンドツーエンドのパフォーマンス向上のために体系的に活用できるか？
• RQ4 自動最適化による段階的処理および top-K クエリ処理は、一般向けモデルサービングシステムを上回る性能を達成できるか？
• RQ5 手動によるチューニングやモデル固有の仮定なしに、多様な ML パイプラインにおいてパフォーマンスと精度のバランスを自動的に最適化できる統一されたシステムは実現可能か？

主な発見

• Willump は、実験的に選択された高効果で低コストの特徴量を用いた段階的特徴量処理により、分類クエリで最大 5× の高速化を達成した。
• スコアの近似を軽量なモデルで事前に実行することで、top-K クエリにおいて最大 10× のパフォーマンス向上を実現した。
• 実世界の ML パイプラインにおけるエンドツーエンドの推論パフォーマンスは、ベースラインシステムと比較して最大 16× 向上したが、統計的に有意な精度の損失は認められなかった。
• Willump の自動パrameterチューニングにより、ユーザーが指定した精度制約を満たしつつ、パフォーマンスの向上が達成された。
• 統計的最適化とコンパイラレベルの変換（例：ループ統合）の統合により、多様な ML ワークロード全体にわたる包括的なパフォーマンス向上が可能になった。
• Willump は、手動による特徴量コストの注釈やモデル固有の設計を必要とせず、モデルに依存しない特徴量に配慮した段階的処理と近似型 top-K クエリを自動生成する最初のシステムである。