[论文解读] A Very Brief and Critical Discussion on AutoML

Bin Liu|arXiv (Cornell University)|Nov 9, 2018

Machine Learning and Data Classification参考文献 7被引用 8

一句话总结

本文批判性地审视了自动化机器学习（AutoML），将其分为两类：狭义AutoML——专家仍需参与配置外层算法；以及广义AutoML——旨在实现无需人工输入的完全自动化。其主要贡献在于指出，目前大多数AutoML进展仍局限于狭义AutoML，这虽减少了但并未消除对专家的依赖，并增加了计算成本，而广义AutoML则仍与人工通用智能（AGI）尚未解决的挑战紧密相关。

ABSTRACT

This contribution presents a very brief and critical discussion on automated machine learning (AutoML), which is categorized here into two classes, referred to as narrow AutoML and generalized AutoML, respectively. The conclusions yielded from this discussion can be summarized as follows: (1) most existent research on AutoML belongs to the class of narrow AutoML; (2) advances in narrow AutoML are mainly motivated by commercial needs, while any possible benefit obtained is definitely at a cost of increase in computing burdens; (3)the concept of generalized AutoML has a strong tie in spirit with artificial general intelligence (AGI), also called "strong AI", for which obstacles abound for obtaining pivotal progresses.

研究动机与目标

• 澄清在自动化机器学习背景下，狭义AutoML与广义AutoML之间的概念性区别。
• 论证现有大多数AutoML研究属于狭义AutoML，其中专家知识对于配置外层算法仍至关重要。
• 突出狭义AutoML系统中，专家参与减少与计算负担增加之间的权衡。
• 将广义AutoML定位为与人工通用智能（AGI）内在关联的概念，面临重大未解挑战。
• 激发对AutoML研究长期可行性与目标的批判性反思，尤其关注完全自动化与AGI方面。

提出的方法

• 将AutoML划分为两类：狭义AutoML（中间自动化且残留专家输入）与广义AutoML（完全自动化且无需专家）。
• 分析贝叶斯优化（BO）作为狭义AutoML技术的代表性方法，表明BO本身需要专家配置超参数和核函数类型。
• 考察遗传编程、强化学习与迁移学习等其他方法，证明它们均需专家定义的搜索空间或先验知识。
• 以元学习与组合核搜索为例，说明即使先进自动化技术也依赖于人为定义的配置空间。
• 比较基于BO的AutoML与专家驱动的模型选择的计算成本，表明自动化增加了计算负载。
• 在概念上将广义AutoML与人工通用智能（AGI）进行类比，强调其共享的基础性挑战。

实验结果

研究问题

• RQ1 在专家参与程度与自动化完整性方面，狭义AutoML与广义AutoML有何区别？
• RQ2 尽管宣称实现自动化，当前AutoML技术在多大程度上真正降低了对人类专业知识的需求？
• RQ3 在AutoML中，用自动化外层算法替代专家决策所伴随的计算权衡是什么？
• RQ4 为何广义AutoML被视为人工通用智能（AGI）的自然延伸？它面临哪些挑战？
• RQ5 现有AutoML框架（如Auto-WEKA、auto-sklearn与TPOT）如何体现狭义AutoML的局限性？

主要发现

• 目前大多数AutoML研究属于狭义AutoML类别，其中专家输入仍对配置外层算法至关重要。
• 尽管减少了人工劳动，基于贝叶斯优化的AutoML相比专家驱动的模型选择引入了显著的计算开销。
• 即使在BO-based AutoML中采用元学习与组合核搜索等先进技术，仍需人为定义的搜索空间与先验知识，表明专家依赖持续存在。
• AutoML流水线中最外层算法的配置始终由人类专家完成，证明完全自动化尚未实现。
• 广义AutoML（即无需专家输入的完全自动化机器学习）在概念上与人工通用智能（AGI）一致，但其发展面临难以逾越的障碍。
• 减少专家参与所获得的任何益处，均被计算成本的增加所抵消，尤其是在BO等计算密集型方法中。