[论文解读] Exploiting Reuse in Pipeline-Aware Hyperparameter Tuning

Liam Li, Evan Sparks+2 more|arXiv (Cornell University)|Mar 12, 2019

Machine Learning and Data Classification参考文献 28被引用 4

一句话总结

本文提出了一种管道感知的超参数调优框架，通过优化设计、平衡计算和改进缓存策略，实现多阶段机器学习管道中计算重用。该方法引入了网格化随机搜索以发现共享前缀，采用成功减半（Successive Halving）实现早期停止以减少训练时间，并提出了一种基于整数线性规划（ILP）的新缓存策略；实验表明，在语音分类任务中实现了超过17倍的加速，在文本分类任务中实现了70倍的加速，通过重用共享的管道阶段。

ABSTRACT

Hyperparameter tuning of multi-stage pipelines introduces a significant computational burden. Motivated by the observation that work can be reused across pipelines if the intermediate computations are the same, we propose a pipeline-aware approach to hyperparameter tuning. Our approach optimizes both the design and execution of pipelines to maximize reuse. We design pipelines amenable for reuse by (i) introducing a novel hybrid hyperparameter tuning method called gridded random search, and (ii) reducing the average training time in pipelines by adapting early-stopping hyperparameter tuning approaches. We then realize the potential for reuse during execution by introducing a novel caching problem for ML workloads which we pose as a mixed integer linear program (ILP), and subsequently evaluating various caching heuristics relative to the optimal solution of the ILP. We conduct experiments on simulated and real-world machine learning pipelines to show that a pipeline-aware approach to hyperparameter tuning can offer over an order-of-magnitude speedup over independently evaluating pipeline configurations.

研究动机与目标

• 通过利用配置间的计算重用来解决多阶段机器学习管道调优的高计算成本问题。
• 通过将具有共享中间阶段的管道合并为单个DAG，减少超参数调优中的冗余计算。
• 通过早期停止和部分训练策略平衡计算密集型训练阶段，提升效率。
• 设计一种针对具有可变节点成本的机器学习工作负载的缓存感知策略，超越标准启发式方法（如LRU）。
• 评估并比较先进缓存启发式方法与最优ILP解在机器学习管道执行中的表现。

提出的方法

• 提出网格化随机搜索——一种混合方法，通过限制连续超参数的分支因子，促进管道DAG中共享前缀的生成。
• 应用成功减半作为早期停止策略，将计算密集型训练节点分解为更便宜的顺序步骤，提升DAG的负载均衡。
• 将机器学习管道的缓存问题建模为依赖缓存的广义页面置换问题，形式化为混合整数线性规划（MILP）。
• 提出并评估新型缓存启发式方法——RECIPROCAL和WRECIPROCAL，旨在避免缓存高成本但低价值的节点。
• 使用最优ILP解作为基准，评估启发式方法在内存受限环境下的性能表现。
• 采用三管齐下的方法：设计重用、平衡计算、智能缓存，以最大化效率。

实验结果

研究问题

• RQ1 能否系统性地利用超参数配置中的共享前缀，以减少管道调优中的冗余计算？
• RQ2 早期停止和部分训练策略如何改善机器学习管道中的计算负载均衡，从而增强重用优势？
• RQ3 标准的LRU缓存淘汰策略是否适用于具有可变节点成本的机器学习管道？
• RQ4 基于ILP的新缓存策略能否在减少管道超参数调优总执行时间方面优于现有启发式方法？
• RQ5 在具有多样化计算特征的真实机器学习工作负载中，管道感知方法能在多大程度上实现加速？

主要发现

• 在20 Newsgroups数据集上，所提出的管道感知方法通过缓存启发式策略，相较于独立配置评估实现了70倍的加速。
• 在Amazon Reviews数据集上，所有缓存策略均实现了超过40倍的加速，表明在前段加载型管道中具有显著的重用优势。
• LRU在小内存环境下表现不佳，因其倾向于淘汰计算成本高的早期阶段节点，凸显其在机器学习管道中的不适用性。
• WRECIPROCAL优于RECIPROCAL和LRU，因其更少缓存大而低价值的节点，因此在不同缓存大小下更具鲁棒性。
• 在TIMIT语音分类任务中，结合网格化随机搜索和成功减半策略，在真实设置下与缓存结合使用，实现了超过17倍的加速。
• 最优ILP解作为强基准，表明当设计得当时，基于启发式的缓存可实现接近最优的性能。