[论文解读] Amazon SageMaker Automatic Model Tuning: Scalable Black-box Optimization

Valerio Perrone, Huibin Shen+13 more|arXiv (Cornell University)|Dec 15, 2020

Machine Learning and Data Classification被引用 3

一句话总结

Amazon SageMaker Automatic Model Tuning (AMT) 是一个完全托管的、可扩展的黑箱超参数优化系统，通过随机搜索或贝叶斯优化自动搜索最优机器学习模型配置。它通过迭代地使用不同超参数训练模型，并基于用户定义的指标选择表现最佳的配置，从而提升模型性能。

ABSTRACT

Tuning complex machine learning systems is challenging. Machine learning models typically expose a set of hyperparameters, be it regularization, architecture, or optimization parameters, whose careful tuning is critical to achieve good performance. To democratize access to such systems, it is essential to automate this tuning process. This paper presents Amazon SageMaker Automatic Model Tuning (AMT), a fully managed system for black-box optimization at scale. AMT finds the best version of a machine learning model by repeatedly training it with different hyperparameter configurations. It leverages either random search or Bayesian optimization to choose the hyperparameter values resulting in the best-performing model, as measured by the metric chosen by the user. AMT can be used with built-in algorithms, custom algorithms, and Amazon SageMaker pre-built containers for machine learning frameworks. We discuss the core functionality, system architecture and our design principles. We also describe some more advanced features provided by AMT, such as automated early stopping and warm-starting, demonstrating their benefits in experiments.

研究动机与目标

• 自动化机器学习模型的超参数调优过程，减少对专家干预的需求。
• 为跨多种机器学习框架和算法的黑箱优化提供可扩展的完全托管解决方案。
• 通过与 Amazon SageMaker 预置容器集成，支持内置和自定义机器学习算法。
• 通过高级功能（如自动早期停止和超参数搜索的热启动）提升效率。
• 通过抽象超参数调优的复杂性，使非专家用户也能轻松获得高性能机器学习模型。

提出的方法

• AMT 使用随机搜索或贝叶斯优化来选择用于迭代模型训练的超参数配置。
• 系统根据用户定义的性能指标评估每种配置，并选择表现最佳的模型。
• 支持与 Amazon SageMaker 内置算法、自定义算法以及主流机器学习框架预置容器的集成。
• AMT 实现了自动早期停止，可提前终止表现不佳的训练任务，从而节省计算资源。
• 通过使用先前已知的良好配置初始化搜索，支持热启动，以加速收敛。
• 系统采用水平可扩展的架构，可在大规模分布式训练环境中实现高效调优。

实验结果

研究问题

• RQ1 如何在保持多种机器学习模型高性能的前提下，实现大规模的超参数调优自动化？
• RQ2 在托管的生产级环境中，贝叶斯优化与随机搜索相比具有哪些相对优势？
• RQ3 自动早期停止和热启动在减少训练时间并提升优化效率方面有多有效？
• RQ4 完全托管的系统在多大程度上能提升非专家用户对超参数调优的可访问性和易用性？
• RQ5 当在多种框架和配置下调优复杂模型时，该系统如何保持可扩展性和可靠性？

主要发现

• AMT 通过自动选择最优超参数配置，显著减少了手动调优机器学习模型所需的工作量。
• 在受控实验中，贝叶斯优化的集成相比随机搜索能更快收敛到高性能模型。
• 自动早期停止通过及早识别并终止表现不佳的训练试验，减少了训练时间，提升了资源效率。
• 热启动通过利用对有效超参数配置的先前知识，加速了优化过程。
• 通过 SageMaker 的预置容器，该系统在多种机器学习框架和自定义算法中均表现出可扩展性和可靠性。
• 用户定义的指标引导优化过程，确保与特定应用的性能目标保持一致。