[论文解读] Helix: Holistic Optimization for Accelerating Iterative Machine Learning

Doris Xin, Stephen Macke+4 more|arXiv (Cornell University)|Dec 14, 2018

Scientific Computing and Data Management参考文献 60被引用 6

一句话总结

Helix 是一个声明式机器学习系统，通过在工作流迭代之间进行整体优化，利用智能缓存和中间结果的重新计算，加速了迭代式机器学习开发。通过将执行和物化决策建模为最大流（Max-Flow）和 NP-难优化问题，分别结合有效的启发式方法，Helix 相较于最先进的系统（如 DeepDive 和 KeystoneML）将运行时间减少了高达 19 倍。

ABSTRACT

Machine learning workflow development is a process of trial-and-error: developers iterate on workflows by testing out small modifications until the desired accuracy is achieved. Unfortunately, existing machine learning systems focus narrowly on model training---a small fraction of the overall development time---and neglect to address iterative development. We propose Helix, a machine learning system that optimizes the execution across iterations---intelligently caching and reusing, or recomputing intermediates as appropriate. Helix captures a wide variety of application needs within its Scala DSL, with succinct syntax defining unified processes for data preprocessing, model specification, and learning. We demonstrate that the reuse problem can be cast as a Max-Flow problem, while the caching problem is NP-Hard. We develop effective lightweight heuristics for the latter. Empirical evaluation shows that Helix is not only able to handle a wide variety of use cases in one unified workflow but also much faster, providing run time reductions of up to 19x over state-of-the-art systems, such as DeepDive or KeystoneML, on four real-world applications in natural language processing, computer vision, social and natural sciences.

研究动机与目标

• 解决机器学习开发中的主要瓶颈——因小改动后需重新执行完整工作流而导致的迭代时间过长。
• 在无需手动物化或复杂依赖追踪的情况下，实现跨迭代对中间结果的高效重用。
• 将数据预处理、模型定义和学习过程统一为一个简洁的领域特定语言（DSL），同时支持多样化的机器学习工作负载。
• 以一种能考虑工作流 DAG 中级联影响的方式，同时优化执行计划和物化决策。
• 通过使迭代式机器学习开发的时间和资源消耗与更改大小成正比，而非与整个工作流成正比，从而减少开发人员的时间和资源消耗。

提出的方法

• 将 Opt-Exec-Plan 问题建模为最大流（Max-Flow）问题，以确定最小化跨迭代重新计算量的最优执行顺序。
• 将 Opt-Mat-Plan 问题简化为一个选择应缓存哪些中间结果以获得最大重用收益的 NP-难问题。
• 提出轻量级且高效的物化规划启发式方法，综合考虑算子依赖关系和预期节省。
• 使用基于 Scala 的 DSL 表达统一的工作流，以声明式方式集成数据预处理、模型训练和后处理。
• 采用基于有向无环图（DAG）的工作流表示，以准确追踪数据和算子依赖关系，支持重用分析。
• 采用主动成本建模方法，基于对下一次迭代的预期节省进行决策，而非依赖于历史使用模式的被动启发式方法。

实验结果

研究问题

• RQ1 如何在多个迭代中对机器学习工作流进行优化，以减少冗余的重新计算？
• RQ2 针对迭代式机器学习执行和物化的整体优化问题的计算复杂度是什么？
• RQ3 执行计划问题能否被简化为已知的可 tractable 问题（如最大流）以实现高效求解？
• RQ4 尽管该问题具有 NP-难性质，如何仍能有效做出物化决策？
• RQ5 统一的声明式 DSL 在多大程度上能够表达多样化的机器学习工作流，同时支持跨迭代优化？

主要发现

• 在自然语言处理、计算机视觉以及社会与自然科学等真实世界应用中，Helix 相较于 DeepDive 和 KeystoneML 等最先进的系统，将运行时间减少了高达 19 倍。
• 在复杂的机器学习任务中，与基线系统相比，Helix 实现了累计运行时间减少 40–60%。
• 在较简单的机器学习任务中，与 DeepDive 和 KeystoneML 相比，Helix 实现了接近一个数量级（10 倍）的运行时间减少。
• Opt-Exec-Plan 问题可通过约简为最大流问题在多项式时间内求解，从而实现高效的执行计划。
• Opt-Mat-Plan 问题被证明是 NP-难的，这为实际部署中使用轻量级启发式方法提供了合理性。
• 基于预期节省的 Helix 主动物化策略，优于依赖历史使用模式的被动方法。