[論文レビュー] KeystoneML: Optimizing Pipelines for Large-Scale Advanced Analytics

Evan Sparks, Shivaram Venkataraman+3 more|arXiv (Cornell University)|Oct 29, 2016

Advanced Neural Network Applications参考文献 42被引用数 4

ひとこと要約

KeystoneML は、分散環境における大規模な機械学習パイプラインのエンドツーエンド最適化を可能にする高水準で型セーフなフレームワークである。コストベースの物理的オペレータ選択と、全パイプライン最適化（特に中間データの知的なマテリアライゼーションを含む）を組み合わせることで、実世界の画像分類、音声、NLPワークロードにおいて、最適化されていない実行に比べて最大15倍のトレーニングスループットを達成している。

ABSTRACT

Modern advanced analytics applications make use of machine learning techniques and contain multiple steps of domain-specific and general-purpose processing with high resource requirements. We present KeystoneML, a system that captures and optimizes the end-to-end large-scale machine learning applications for high-throughput training in a distributed environment with a high-level API. This approach offers increased ease of use and higher performance over existing systems for large scale learning. We demonstrate the effectiveness of KeystoneML in achieving high quality statistical accuracy and scalable training using real world datasets in several domains. By optimizing execution KeystoneML achieves up to 15x training throughput over unoptimized execution on a real image classification application.

研究の動機と目的

• 大規模かつマルチステージのアナリティクスパイプライン向けに、既存のMLシステムにおけるエンドツーエンド最適化の欠如に対処すること。
• データ量やハードウェア構成の変化に応じて、MLパイプラインをシームレスにスケーリング可能にする。
• データ特性とリソース制約に基づいて、最適な物理的オペレータと実行戦略の選択を自動化すること。
• 個々のオペレータと全パイプラインワークフローの最適化により、パフォーマンスと統計的精度を向上させること。

提案手法

• エンドツーエンドの完全なMLワークフローを表現するための論理的オペレータを用いた高水準で型セーフなAPIを公開する。
• 分散実行における計算コストと通信コストの両方を考慮したコストベースの最適化器を設計する。
• 反復的MLパイプラインにおける重複計算を削減するための中間データマテリアライゼーション問題を定式化する。
• パフォーマンス向上に寄与する中間状態を効率的に特定するための貪欲アルゴリズムを開発する。
• スパarsity や次元数などのデータ特性の認識を備えた、ドメインに依存しない最適化を統合する。
• データサイズ、ハードウェア、特徴量の変化に適応するためのパイプラインの動的再構成をサポートする。

実験結果

リサーチクエスチョン

• RQ1 分散環境において、エンドツーエンドのMLパイプラインを自動的にパフォーマンスとスケーラビリティの観点で最適化する方法は何か？
• RQ2 スパarsity や次元数といったデータ特性が、MLオペレータの最適な物理的実行計画の選定に果たす役割は何か？
• RQ3 物理的オペレータと全パイプライン戦略のコストベース最適化は、単純な実行に比べてトレーニングスループットをどの程度向上できるか？
• RQ4 統合最適化を通じて、高水準の抽象化と低水準のパフォーマンスを両立できる統一システムは実現可能か？
• RQ5 リソース効率性と統計的精度の観点から、KeystoneML の最適化戦略は、専用システムと比べてどの程度優れているか？

主な発見

• KeystoneML は、最適化されていない実行に比べて最大15倍のトレーニングスループットを達成しており、主に物理的最適化と全パイプライン最適化の統合によるものである。
• エンドツーエンド最適化のみでもパフォーマンスが最大7倍向上し、包括的なパイプラインチューニングの価値を示している。
• 物理的オペレータの選択が不適切な場合、パフォーマンスが260倍も低下する可能性があり、知的なオペレータ選択の重要性を浮き彫りにしている。
• 100万枚以上の画像を含む実際の画像分類パイプラインにおいて、KeystoneML は数百台のマシンにわたって線形的なスケーラビリティを示している。
• BlueGene スーパーコンputャで動作する専用のフォノーム分類システムと同等のパフォーマンスを達成しているが、リソースは8分の1で済んでいる。
• 画像分類、センチメント分析、音声認識の分野で、最先端の結果と同等の統計的パフォーマンスを達成している。