[论文解读] MLtuner: System Support for Automatic Machine Learning Tuning

Henggang Cui, Gregory R. Ganger+1 more|arXiv (Cornell University)|Mar 20, 2018

Machine Learning and Data Classification参考文献 43被引用 5

一句话总结

MLtuner 是一个系统，通过在执行过程中使用高效的快照、分支和基于优化的试错法，自动调优关键的机器学习训练超参数（如初始学习率、批量大小和数据陈旧度）。它实现了最先进性能，相比现有自动调优方法，速度提升了一个多数量级，并在包括图像和视频分类在内的多种机器学习工作负载中，即使初始设置次优，也能实现稳健收敛。

ABSTRACT

MLtuner automatically tunes settings for training tunables (such as the learning rate, the momentum, the mini-batch size, and the data staleness bound) that have a significant impact on large-scale machine learning (ML) performance. Traditionally, these tunables are set manually, which is unsurprisingly error-prone and difficult to do without extensive domain knowledge. MLtuner uses efficient snapshotting, branching, and optimization-guided online trial-and-error to find good initial settings as well as to re-tune settings during execution. Experiments show that MLtuner can robustly find and re-tune tunable settings for a variety of ML applications, including image classification (for 3 models and 2 datasets), video classification, and matrix factorization. Compared to state-of-the-art ML auto-tuning approaches, MLtuner is more robust for large problems and over an order of magnitude faster.

研究动机与目标

• 解决手动、易出错且高度依赖专业知识的机器学习超参数调优过程，如初始学习率和批量大小的调整。
• 通过实现自动、在线且自适应的配置，减少超参数调优的“黑箱”特性。
• 在不引入先前自动调优方法高运行时开销的前提下，提升训练效率和收敛质量。
• 确保在各种模型、数据集和硬件配置（包括大规模问题）下均具备鲁棒性。

提出的方法

• MLtuner 集成到现有训练系统中，通过短时试运行快速执行在线试错，以评估收敛速度。
• 它采用高效的系统级机制（如快照和分支），以极低开销维持和切换多个训练配置。
• 系统使用基于优化的搜索策略（如通过 HyperOpt 实现的贝叶斯优化）探索超参数空间，识别有前景的配置。
• 当收敛速度变慢时，MLtuner 会动态重新调优超参数，适应变化的条件，从而提升长期性能。
• 它支持同时调优多个参数，可在不修改底层训练框架的前提下扩展至更大的搜索空间。
• 系统可自动确定最优初始设置，并通过持续重新调优从次优初始选择中恢复。

实验结果

研究问题

• RQ1 是否能在实际训练过程中高效且稳健地实现自动超参数调优，而无需大量离线调优或专家知识？
• RQ2 MLtuner 的在线自适应调优策略在速度和收敛质量方面，与最先进超参数优化方法相比如何？
• RQ3 MLtuner 通过运行时重新调优，能在多大程度上从次优初始超参数设置中恢复？
• RQ4 MLtuner 在涉及多个相互依赖可调参数的更大超参数搜索空间中，扩展性如何？
• RQ5 MLtuner 是否能在多种机器学习模型和数据集上实现与专家调优配置相当的性能？

主要发现

• 在 ImageNet 上，MLtuner 在 Inception-BN 上达到 71.4% 的验证准确率，优于人工调优的 69.8%；在 GoogLeNet 上达到 66.2%，优于人工调优的 64.4%。
• 在 Cifar10 基准测试中，MLtuner 仅用专家调优设置 5 倍的训练时间，就达到了专家水平的准确率，证明了开销的有效分摊。
• 在大规模问题上，MLtuner 的训练速度相比最先进的自动调优方法（如 Spearmint 和 Hyperband）提升了超过一个数量级。
• 即使初始设置为随机选择的次优参数，MLtuner 仍通过运行时重新调优成功收敛到高准确率模型，证明了其鲁棒性。
• 当调优参数增至 8 个（为原始 4 个的两倍）时，MLtuner 仍能保持相同的准确率水平，调优时间仅增加约 2 倍，显示出良好的可扩展性。
• 在 10 次运行中，收敛时间的变异系数（CoV）为 0.22，表明尽管存在初始化和浮点运算的随机性，系统性能仍保持一致。