[论文解读] Automated Machine Learning: From Principles to Practices

Zhenqian Shen, Yongqi Zhang+3 more|arXiv (Cornell University)|Oct 31, 2018

Machine Learning and Data Classification被引用 259

一句话总结

一份全面的综述，定义 AutoML，提出通用框架，并按问题设定与技术进行分类，以及对未来研究和应用的指导。

ABSTRACT

Machine learning (ML) methods have been developing rapidly, but configuring and selecting proper methods to achieve a desired performance is increasingly difficult and tedious. To address this challenge, automated machine learning (AutoML) has emerged, which aims to generate satisfactory ML configurations for given tasks in a data-driven way. In this paper, we provide a comprehensive survey on this topic. We begin with the formal definition of AutoML and then introduce its principles, including the bi-level learning objective, the learning strategy, and the theoretical interpretation. Then, we summarize the AutoML practices by setting up the taxonomy of existing works based on three main factors: the search space, the search algorithm, and the evaluation strategy. Each category is also explained with the representative methods. Then, we illustrate the principles and practices with exemplary applications from configuring ML pipeline, one-shot neural architecture search, and integration with foundation models. Finally, we highlight the emerging directions of AutoML and conclude the survey.

研究动机与目标

• 定义 AutoML 并阐明其目标（高性能、减少人工投入和计算效率）。
• 提出一个涵盖现有方法并指导新方法设计的通用 AutoML 框架。
• 按问题设定和技术对 AutoML 工作进行分类，以阐明关系并推动未来研究。
• 为从业者和研究人员提供将 AutoML 方法应用与扩展的见解与指南。

提出的方法

• 将 AutoML 形式化定义为在有限预算内对学习工具配置的自动化。
• 引入由优化器和评估器组成的两组件 AutoML 控制器。
• 建立一个框架，将学习过程（特征工程、模型选择、优化算法选择）映射到 AutoML 搜索空间。
• 给出基于问题设定（要自动化的内容）和技术（如何自动化）的分类，将基本方法与成熟方法纳入其中。
• 将 NAS 作为一个专门的全方位 AutoML 案例进行讨论，并将其与通用 AutoML 流程联系起来。
• 说明现有工作如何适配所提框架和分类。

实验结果

研究问题

• RQ1 构成覆盖多样化学习任务的正式、可操作的 AutoML 定义是什么？
• RQ2 如何构建一个通用的 AutoML 框架，使其包含现有方法并指导新方法的开发？
• RQ3 如何按问题设定和技术对 AutoML 方法进行分类，以揭示结构和改进机会？
• RQ4 可以为未来的 AutoML 研究在问题设定、技术、应用和理论方面提供哪些指导？

主要发现

• AutoML 旨在在有限的人力投入和预算下最大化学习性能。
• 通用的控制器框架（优化器和评估器）可以覆盖大多数 AutoML 方法并指导设计。
• AutoML 可以按正在自动化的学习过程来分类（特征工程、模型选择、优化算法选择、NAS）以及按技术来分类（基础与成熟）。
• NAS 被公认为一个突出的一整套 AutoML 案例，与通用框架一致但在其中有其区分。
• 本综述指出了在问题设定、技术、应用和理论方面的未来方向。
• 作者提供了设计 AutoML 方法并与现有方法整合的指南与工作流程。