[论文解读] AutoML-Zero: Evolving Machine Learning Algorithms From Scratch

Esteban Real, Liang Chen+2 more|arXiv (Cornell University)|Mar 6, 2020

Machine Learning and Data Classification参考文献 83被引用 115

一句话总结

本论文提出 AutoML-Zero，一个框架，使用基本数学运算从头进化完整的 ML 算法，发现简单和高级技术，超越神经网络，包括类似反向传播的学习。

ABSTRACT

Machine learning research has advanced in multiple aspects, including model structures and learning methods. The effort to automate such research, known as AutoML, has also made significant progress. However, this progress has largely focused on the architecture of neural networks, where it has relied on sophisticated expert-designed layers as building blocks---or similarly restrictive search spaces. Our goal is to show that AutoML can go further: it is possible today to automatically discover complete machine learning algorithms just using basic mathematical operations as building blocks. We demonstrate this by introducing a novel framework that significantly reduces human bias through a generic search space. Despite the vastness of this space, evolutionary search can still discover two-layer neural networks trained by backpropagation. These simple neural networks can then be surpassed by evolving directly on tasks of interest, e.g. CIFAR-10 variants, where modern techniques emerge in the top algorithms, such as bilinear interactions, normalized gradients, and weight averaging. Moreover, evolution adapts algorithms to different task types: e.g., dropout-like techniques appear when little data is available. We believe these preliminary successes in discovering machine learning algorithms from scratch indicate a promising new direction for the field.

研究动机与目标

• 证明 AutoML 可以仅使用基本构建块在没有手工设计组件的情况下自动发现完整的 ML 算法。
• 展示进化搜索不仅能找到简单的神经网络，还能找到针对特定任务的更高级算法。
• 研究进化中的算法如何适应不同任务类型和数据情境（例如少量数据、正则化等）。
• 提供开源基础设施和可扩展的搜索策略，以探索庞大的算法空间。

提出的方法

• 将 ML 算法表示为具有三部分（Setup、Predict、Learn）的程序，在小内存和基本运算上运行。
• 使用带有变异的进化搜索（正则化进化）来构建候选算法族群。
• 应用函数等价性检查（FEC）和分布式工作节点实现高吞吐量搜索（~每个 CPU ≈10k 模型/秒）。
• 在代理任务上评估算法（二进制 CIFAR-10/MNIST-like 任务），通过任务表现中位数进行选择，然后在更大任务上验证。
• 允许可变的组件长度和广义的 65 种运算，最小化搜索空间中的人为偏见。

实验结果

研究问题

• RQ1 进化搜索是否能够仅使用基本数学运算从零开始发现 ML 算法？
• RQ2 在尽量减小搜索空间偏见时，会涌现出哪些学习规则或架构特征？
• RQ3 发现的算法在真实世界数据集中的迁移能力如何，超出代理任务的现实数据集？
• RQ4 该算法族如何适应不同的任务类型（例如少样本、多类任务）和数据情境？

主要发现

• 进化搜索能够在一个非常大且通用的空间中发现算法，随机搜索表现较差。
• 在 CIFAR-10 变体和其他数据集上，进化得到的算法优于手工设计的基线，且可以与反向传播训练的网络相似或超过。
• 算法表现出在进化过程中出现的技术，如乘法型交互、归一化梯度和权重平均。
• 在需要正则化或更快收敛的任务中，出现类似 dropout 的正则化和学习率衰减。
• 从零开始，进化可以重新发现一个使用反向传播的神经网络，且随着更广泛的运算，亦可发现非神经网络架构。