[论文解读] AutoML to Date and Beyond: Challenges and Opportunities

Shubhra Kanti Karmaker Santu, Md. Mahadi Hassan+4 more|arXiv (Cornell University)|Oct 21, 2020

Machine Learning and Data Classification参考文献 57被引用 6

一句话总结

本文提出了一种七级自主性分类法，用于AutoML系统，以解决机器学习流水线全面自动化方面的空白。它引入了第6级AutoML——一种交互式智能代理，可自动化预测任务的制定与推荐，显著减少数据科学家和领域专家的人工参与，案例研究证明其在现实世界任务推荐中的可行性。

ABSTRACT

As big data becomes ubiquitous across domains, and more and more stakeholders aspire to make the most of their data, demand for machine learning tools has spurred researchers to explore the possibilities of automated machine learning (AutoML). AutoML tools aim to make machine learning accessible for non-machine learning experts (domain experts), to improve the efficiency of machine learning, and to accelerate machine learning research. But although automation and efficiency are among AutoML's main selling points, the process still requires human involvement at a number of vital steps, including understanding the attributes of domain-specific data, defining prediction problems, creating a suitable training data set, and selecting a promising machine learning technique. These steps often require a prolonged back-and-forth that makes this process inefficient for domain experts and data scientists alike, and keeps so-called AutoML systems from being truly automatic. In this review article, we introduce a new classification system for AutoML systems, using a seven-tiered schematic to distinguish these systems based on their level of autonomy. We begin by describing what an end-to-end machine learning pipeline actually looks like, and which subtasks of the machine learning pipeline have been automated so far. We highlight those subtasks which are still done manually - generally by a data scientist - and explain how this limits domain experts' access to machine learning. Next, we introduce our novel level-based taxonomy for AutoML systems and define each level according to the scope of automation support provided. Finally, we lay out a roadmap for the future, pinpointing the research required to further automate the end-to-end machine learning pipeline and discussing important challenges that stand in the way of this ambitious goal.

研究动机与目标

• 解决当前机器学习流水线因任务制定和数据准备过程中高度依赖人工而造成的低效与不可及问题。
• 识别AutoML中的关键瓶颈：即通过手动、非结构化方式定义预测问题和准备训练数据。
• 提出一种新颖的七级自主性分类法，根据AutoML系统在整个端到端机器学习流水线中自动化程度的不同进行分类。
• 通过智能交互代理（第6级）自动化预测任务的制定，使领域专家能够直接使用机器学习。
• 为实现真正自动化的数据科学奠定研究路线图，强调在任务推荐和模型评估中的人机协作。

提出的方法

• 开发一种七级自主性框架，根据机器学习流水线中自动化范围对AutoML系统进行分类。
• 将第6级AutoML定义为一种交互式代理，利用上下文和领域特定知识主动推荐并制定预测任务。
• 整合自然语言理解和可视化技术，以人类可读格式呈现预测任务，如描述、输入和实例示例。
• 设计一种交互式预测任务推荐系统，通过迭代式反馈与用户互动，提升任务的相关性和可用性。
• 在案例研究中使用真实世界数据集，验证第6级AutoML在推荐有意义且可操作的预测任务方面的可行性。
• 强调稳健的模型评估，确保数据划分无偏、基准具有代表性，并在训练标签中最小化标注偏差。

实验结果

研究问题

• RQ1 即使在现代AutoML系统中，端到端机器学习流水线的哪些关键阶段仍保持人工密集？
• RQ2 AutoML系统如何在不依赖人工定义规范的情况下实现更高程度的预测任务制定自主性？
• RQ3 构建能够实现智能、交互式任务推荐的第6级AutoML代理，必须克服哪些技术和设计挑战？
• RQ4 如何有意义地表示和评估预测任务，以确保其与现实世界业务目标和数据背景保持一致？
• RQ5 人机交互在提升自动化机器学习工作流的准确性和可用性方面发挥什么作用？

主要发现

• 当前的AutoML系统并非真正自动，因为它们在定义预测任务和准备训练数据方面仍需要数据科学家大量手动输入。
• 机器学习流水线的大部分环节——尤其是任务制定——仍然是人工密集型过程，限制了领域专家的可及性。
• 第6级AutoML代理，具备交互式、上下文感知的预测任务推荐能力，是可行的，并在现实世界案例研究中展现出潜力。
• 有效的任务推荐不仅需要技术自动化，还需要直观的用户界面，包括自然语言描述以及对输入和预测的可视化。
• 公平且无偏见的模型评估对AutoML的成功至关重要，这取决于在整个流水线中对数据整理、基准测试和标签质量的妥善处理。
• 实现数据科学的全面自动化需要跨学科研究，涵盖人机交互、信息检索、数据库和软件工程。