[论文解读] AutonoML: Towards an Integrated Framework for Autonomous Machine Learning

David Jacob Kedziora, Katarzyna Musiał+1 more|arXiv (Cornell University)|Dec 23, 2020

Machine Learning and Data Classification被引用 10

一句话总结

本文提出 AutonoML，一个集成的自主机器学习框架，将超参数优化、神经架构搜索、自动化特征工程、元学习、动态自适应以及多目标评估统一整合为一个连贯的系统。其主要贡献在于提出了一种概念性架构，展示了这些组件如何被整合为一个自我适应、极少人工干预的机器学习生命周期系统。

ABSTRACT

Over the last decade, the long-running endeavour to automate high-level processes in machine learning (ML) has risen to mainstream prominence, stimulated by advances in optimisation techniques and their impact on selecting ML models/algorithms. Central to this drive is the appeal of engineering a computational system that both discovers and deploys high-performance solutions to arbitrary ML problems with minimal human interaction. Beyond this, an even loftier goal is the pursuit of autonomy, which describes the capability of the system to independently adjust an ML solution over a lifetime of changing contexts. However, these ambitions are unlikely to be achieved in a robust manner without the broader synthesis of various mechanisms and theoretical frameworks, which, at the present time, remain scattered across numerous research threads. Accordingly, this review seeks to motivate a more expansive perspective on what constitutes an automated/autonomous ML system, alongside consideration of how best to consolidate those elements. In doing so, we survey developments in the following research areas: hyperparameter optimisation, multi-component models, neural architecture search, automated feature engineering, meta-learning, multi-level ensembling, dynamic adaptation, multi-objective evaluation, resource constraints, flexible user involvement, and the principles of generalisation. We also develop a conceptual framework throughout the review, augmented by each topic, to illustrate one possible way of fusing high-level mechanisms into an autonomous ML system. Ultimately, we conclude that the notion of architectural integration deserves more discussion, without which the field of automated ML risks stifling both its technical advantages and general uptake.

研究动机与目标

• 为解决 AutoML 研究的碎片化状态，提出将多种机制整合到单一自主框架中的整体性方案。
• 识别架构整合为从 AutoML 向真正 AutonoML 发展过程中的关键但尚未充分探索的挑战。
• 将现有研究在超参数优化、神经架构搜索、自动化特征工程、元学习和动态自适应方面的成果，整合为一个统一的概念模型。
• 强调系统级设计的必要性，以支持终身学习、资源约束以及灵活的人机交互。
• 激发关于构建复杂自适应系统以实现自主、持续演化的机器学习部署的讨论。

提出的方法

• 构建一个概念性框架，从单个机器学习组件逐步演化为机器学习流水线，再发展为流水线集合与自适应系统。
• 整合序列模型基于优化（SMBO）与贝叶斯优化，用于超参数与神经架构搜索。
• 引入元学习，以在过往机器学习实验之间迁移知识，提升搜索效率。
• 通过概念漂移检测机制与流数据环境下的持续学习机制，实现动态自适应。
• 支持多目标评估与资源感知操作，以平衡性能、延迟与计算成本。
• 通过灵活的用户参与机制，包括模型透明度与用户控制的可视化，促进人机协作。

实验结果

研究问题

• RQ1 如何将异构的 AutoML 组件（如超参数优化、神经架构搜索与自动化特征工程）系统性地整合到统一的系统架构中？
• RQ2 在数据与环境条件持续变化的背景下，实现终身自主学习的机器学习系统，其架构原则应包括哪些要素？
• RQ3 如何有效利用先前机器学习实验中的元知识，以加速并提升新学习任务的性能？
• RQ4 多目标优化在平衡自主系统中的模型性能、资源使用与部署约束方面发挥何种作用？
• RQ5 如何在不损害系统自主性的前提下，有意义地将人类专业知识与用户控制嵌入自主机器学习流水线中？

主要发现

• 将多种 AutoML 组件整合到单一、连贯的框架中在技术上是可行的，并且是迈向真正 AutonoML 的必要步骤。
• 架构整合被识别为阻碍该领域从自动化模型选择迈向完全自主、自我适应系统的核心挑战。
• 动态自适应与概念漂移处理对于实现在现实世界中持续演化的环境中的持续学习至关重要。
• 元学习通过重用先前实验中的知识，显著提升搜索效率，减少对全面重新训练的需求。
• 多目标评估与资源感知优化对于在存在硬件与延迟约束的真实系统中部署模型至关重要。
• 用户参与，特别是通过数据、特征工程与模型行为的可视化，对于建立信任与系统透明度至关重要，即使在自主系统中亦然。