[論文レビュー] On Optimizing Operator Fusion Plans for Large-Scale Machine Learning in SystemML

Matthias Böehm, Berthold Reinwald+3 more|arXiv (Cornell University)|Jan 2, 2018

Formal Methods in Verification参考文献 64被引用数 5

ひとこと要約

本論文は、大規模な機械学習システム、特にSystemMLにおける演算子統合のためのコストベースの最適化フレームワークを提示する。このフレームワークは、有効な統合計画を体系的に探索するアルゴリズム、コストモデルを用いた最適な候補の選定、および密行列、スパース行列、圧縮データに対するローカルおよび分散処理の両方で効率的なコード生成を行う。これにより、手書きの統合演算子と比較して最大21倍の性能向上を達成し、最小限のオーバーヘッドで実現される。

ABSTRACT

Many large-scale machine learning (ML) systems allow specifying custom ML algorithms by means of linear algebra programs, and then automatically generate efficient execution plans. In this context, optimization opportunities for fused operators---in terms of fused chains of basic operators---are ubiquitous. These opportunities include (1) fewer materialized intermediates, (2) fewer scans of input data, and (3) the exploitation of sparsity across chains of operators. Automatic operator fusion eliminates the need for hand-written fused operators and significantly improves performance for complex or previously unseen chains of operations. However, existing fusion heuristics struggle to find good fusion plans for complex DAGs or hybrid plans of local and distributed operations. In this paper, we introduce an optimization framework for systematically reason about fusion plans that considers materialization points in DAGs, sparsity exploitation, different fusion template types, as well as local and distributed operations. In detail, we contribute algorithms for (1) candidate exploration of valid fusion plans, (2) cost-based candidate selection, and (3) code generation of local and distributed operations over dense, sparse, and compressed data. Our experiments in SystemML show end-to-end performance improvements with optimized fusion plans of up to 21x compared to hand-written fused operators, with negligible optimization and code generation overhead.

研究の動機と目的

• 複雑なDAGおよびハイブリッドなローカル/分散ワークロードにおけるヒューリスティックベースの演算子統合の限界を解決すること。
• 物性化ポイント、スパarsityの活用、多様な統合テンプレートタイプを考慮することで、統合計画を体系的に最適化すること。
• 各パターンごとに手書きの演算子を実装する必要がないように、統合の自動化により開発のオーバーヘッドを低減すること。
• ローカルおよび分散実行環境における密行列、スパース行列、圧縮データ表現の両方で効率的なコード生成を可能にすること。
• 原則的でコストに配慮した統合計画により、大規模な機械学習ワークロードにおけるエンドツーエンドの性能を向上させること。

提案手法

• 候補探索、コストベースの候補選定、および統合演算子のコード生成の3段階フレームワークを提案する。
• メモリ制約とデータレイアウトの特性を尊重しながら、DAGにおける有効な統合計画を探索するアルゴリズムを開発する。
• 物性化、I/O、計算、およびスパarsityの活用を含む演算チェーン全体のコストモデルを採用する。
• 単一パス、マルチアグリゲート、スパarsity活用型の複数の統合テンプレートタイプをサポートする。
• ローカルおよび分散実行の両方で最適化されたコードを生成し、密行列、スパース行列、圧縮データ表現を処理する。
• SystemMLのコンパイラおよびランタイムに最適化パイプラインを統合し、シームレスなデプロイメントを実現する。

実験結果

リサーチクエスチョン

• RQ1 線形代数演算のDAGにおいて、指数的探索空間を避けるために、どのように統合計画を体系的に探索できるか？
• RQ2 物性化、I/O、計算、およびスパarsityを考慮した統合計画を比較するのに効果的なコストモデルは何か？
• RQ3 ローカルおよび分散処理を含むハイブリッドワークロードにおいて、どのように統合計画を最適化できるか？
• RQ4 自動統合は、パフォーマンスと汎用性の面で、手書きの最適化された演算子を上回ることができるか？
• RQ5 密行列の中間計算を物性化せずに、演算チェーン全体でスパarsityを効果的に活用できるか？

主な発見

• 提案された最適化フレームワークは、SystemMLにおける手書きの統合演算子と比較して、エンドツーエンドで最大21倍のパフォーマンス向上を達成した。
• フレームワークは、手で最適化されたコードと同等のパフォーマンスを発揮しながら、各統合パターンの手動実装の必要性を排除した。
• 最適化およびコード生成のオーバーヘッドは無視できるほど小さく、実世界のデプロイメントに実用的であることがわかった。
• システムは演算チェーン全体でスパarsityを効果的に活用し、高価な密行列の中間計算を回避した。
• コストベースの選定メカニズムは、複雑なDAGおよびハイブリッド実行計画において、ヒューリスティックベースの統合戦略を上回った。
• フレームワークは密行列、スパース行列、圧縮データ表現のすべてに一般化可能であり、多様な機械学習ワークロードへの適用性を高めた。