[論文レビュー] Helix: Holistic Optimization for Accelerating Iterative Machine Learning

Doris Xin, Stephen Macke+4 more|arXiv (Cornell University)|Dec 14, 2018

Scientific Computing and Data Management参考文献 60被引用数 6

ひとこと要約

Helix は、中間結果の知的なキャッシュ化と再計算を通じて、ワークフローの反復処理全体にわたる包括的最適化を実現する宣言的機械学習システムであり、反復的ML開発を加速する。実行と物化意思決定をそれぞれ最大フロー問題とNP困難問題としてモデル化し、有効なヒューリスティクスを用いることで、DeepDive や KeystoneML といった最先端のシステムと比較して実行時間を最大19倍短縮する。

ABSTRACT

Machine learning workflow development is a process of trial-and-error: developers iterate on workflows by testing out small modifications until the desired accuracy is achieved. Unfortunately, existing machine learning systems focus narrowly on model training---a small fraction of the overall development time---and neglect to address iterative development. We propose Helix, a machine learning system that optimizes the execution across iterations---intelligently caching and reusing, or recomputing intermediates as appropriate. Helix captures a wide variety of application needs within its Scala DSL, with succinct syntax defining unified processes for data preprocessing, model specification, and learning. We demonstrate that the reuse problem can be cast as a Max-Flow problem, while the caching problem is NP-Hard. We develop effective lightweight heuristics for the latter. Empirical evaluation shows that Helix is not only able to handle a wide variety of use cases in one unified workflow but also much faster, providing run time reductions of up to 19x over state-of-the-art systems, such as DeepDive or KeystoneML, on four real-world applications in natural language processing, computer vision, social and natural sciences.

研究の動機と目的

• 微小な変更後のワークフローの完全再実行に起因する、ML開発における主要なボトル neck を解消すること。
• 手動での物化や複雑な依存関係追跡を必要とせずに、反復処理間での中間結果の効率的再利用を可能にすること。
• データ前処理、モデル定義、学習を統合した単一で簡潔なDSLとして表現し、多様なMLワークロードをサポートすること。
• ワークフローDAG全体に及ぶ連鎖的影響を考慮した、実行計画と物化意思決定の両方を最適化すること。
• 開発者の作業時間とリソース消費量を、変更の大きさに比例するようにすることにより、反復的ML開発を効率化すること。

提案手法

• 最適な実行順序を特定して再計算を最小限に抑えるため、Opt-Exec-Plan 問題を最大フロー問題としてモデル化する。
• 中間結果をキャッシュする対象を最大の再利用利益を得るために選択する問題を、NP困難問題として低減する。
• オペレータの依存関係と予想される節約効果を考慮した、軽量で効果的な物化計画用ヒューリスティクスを提案する。
• ScalaベースのDSLを用いて、データ前処理、モデル学習、後処理を宣言的に統合した包括的ワークフローを表現する。
• データおよびオペレータの依存関係を正確に追跡するため、ワークフローをDAGベースで表現する。
• 過去の使用状況に基づく反応型ヒューリスティクスではなく、次回の反復における予想される節約効果に基づく能動的コストモデリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 複数回の反復にわたる機械学習ワークフローをどのように最適化し、重複する再計算を削減できるか？
• RQ2 反復的ML実行と物化の包括的最適化問題の計算複雑度は何か？
• RQ3 実行計画問題は、効率的な解法が得られる既知の tractable 問題（例：最大フロー）に還元可能か？
• RQ4 NP困難性を有する問題であるにもかかわらず、どのように効果的な物化意思決定が可能か？
• RQ5 統一的で宣言的DSLが、多様なMLワークロードを表現しつつ、反復処理間の最適化を可能にする程度はどの程度か？

主な発見

• Helix は、自然言語処理、コンピュータビジョン、社会・自然科学分野の実世界アプリケーションにおいて、DeepDive や KeystoneML といった最先端のシステムと比較して、実行時間を最大19倍短縮する。
• 複雑な学習タスクでは、ベースラインシステムと比較して累積的な実行時間の短縮率が40〜60％に達する。
• 単純なMLタスクでは、DeepDive や KeystoneML と比較して、ほぼ10倍（10×）の実行時間短縮が達成される。
• Opt-Exec-Plan 問題は最大フロー問題への還元により多項式時間で解けることが示され、効率的な実行計画が可能である。
• Opt-Mat-Plan 問題はNP困難であると証明されており、実用的展開のための軽量ヒューリスティクスの使用が正当化される。
• 予想される節約効果に基づく能動的物化戦略は、過去の使用パターンに依存する反応型アプローチを上回る性能を発揮する。