[论文解读] Amazon SageMaker Autopilot: a white box AutoML solution at scale

Piali Das, Valerio Perrone+23 more|arXiv (Cornell University)|Dec 15, 2020

Machine Learning and Data Classification参考文献 32被引用 7

一句话总结

Amazon SageMaker Autopilot 是一个可扩展的、透明的自动机器学习（AutoML）系统，可自动为表格数据生成并调优多种机器学习流水线，使数据科学家能够在保持生产就绪性的同时检查和修改模型。它在训练速度更快、延迟更低的情况下，性能优于默认的 XGBoost 模型，并与最先进基线模型相当，同时通过可编辑代码和可扩展的预处理组件支持自定义。

ABSTRACT

AutoML systems provide a black-box solution to machine learning problems by selecting the right way of processing features, choosing an algorithm and tuning the hyperparameters of the entire pipeline. Although these systems perform well on many datasets, there is still a non-negligible number of datasets for which the one-shot solution produced by each particular system would provide sub-par performance. In this paper, we present Amazon SageMaker Autopilot: a fully managed system providing an automated ML solution that can be modified when needed. Given a tabular dataset and the target column name, Autopilot identifies the problem type, analyzes the data and produces a diverse set of complete ML pipelines including feature preprocessing and ML algorithms, which are tuned to generate a leaderboard of candidate models. In the scenario where the performance is not satisfactory, a data scientist is able to view and edit the proposed ML pipelines in order to infuse their expertise and business knowledge without having to revert to a fully manual solution. This paper describes the different components of Autopilot, emphasizing the infrastructure choices that allow scalability, high quality models, editable ML pipelines, consumption of artifacts of offline meta-learning, and a convenient integration with the entire SageMaker suite allowing these trained models to be used in a production setting.

研究动机与目标

• 为解决黑箱 AutoML 系统的局限性，提供一种透明、可定制且具备生产就绪能力的表格数据解决方案。
• 在保持高模型性能的同时，减少特征工程、算法选择和超参数调优所需的手动工作量。
• 使专家用户能够在不回退到完全手动开发的情况下，修改和扩展自动生成的流水线。
• 将系统扩展至可处理多样化数据集和复杂数据类型（包括时间序列和自然语言特征）。
• 与 AWS SageMaker 生态系统无缝集成，以支持部署和推理。

提出的方法

• 系统从输入数据集中提取全面的元特征，包括缺失值、偏度、相关性以及用于性能预测的标志性特征。
• 基于数据集特征，利用专家启发式规则和有限的训练数据，通过元学习模型选择合适的预处理和算法流水线。
• 采用分布式、容器化架构，同时并行调优多个多样化的流水线，隔离特征工程、训练和后处理阶段。
• 使用标准化指标（如相对误差差异、任务成功率和每批 100 行数据的推理延迟）对每个流水线进行评估。
• 系统支持按组件动态分配硬件资源，并允许用户通过 Docker 容器注入自定义预处理器或算法。
• 模型以低延迟的 SageMaker 端点形式部署，性能在训练、调优和推理全流程中进行端到端测量。

实验结果

研究问题

• RQ1 在工业规模的机器学习工作流中，AutoML 系统如何在自动化与透明度及用户控制之间取得平衡？
• RQ2 在训练数据有限的情况下，元学习与启发式引导的搜索在多大程度上能提升流水线选择的性能？
• RQ3 一个完全托管的 AutoML 系统是否能够实现与专家调优模型相当的性能，同时保持低推理延迟？
• RQ4 该系统在处理包含复杂数据类型的多样化真实世界表格数据集时，其可扩展性如何？
• RQ5 哪些架构模式能够在不牺牲性能或可维护性的前提下，实现可扩展性和自定义能力？

主要发现

• 在所有数据集中，Autopilot 的相对误差差异指标均优于默认的 XGBoost 基线，表现出一致的性能提升。
• 系统实现了高任务成功率，在基准测试的大多数数据集中成功完成端到端流水线生成和模型部署。
• 在 85% 的数据集中，Autopilot 的性能与基线方法相当或更优，表明其在多样化数据类型上的鲁棒性。
• Autopilot 模型的平均推理端点延迟为每批 100 行数据低于 100ms，表明其具备出色的生产就绪能力。
• 尽管未使用集成方法，Autopilot 的性能仍与最先进基线模型保持竞争力，凸显了其流水线搜索与调优策略的有效性。
• 模块化、容器化的架构支持无缝集成新算法和自定义预处理器，具备良好的可扩展性，并为未来支持非表格数据提供了可能。