[论文解读] Meta-Learning: A Survey

Joaquin Vanschoren|TU/e Research Portal|Oct 8, 2018

Machine Learning and Data Classification参考文献 8被引用 197

一句话总结

本综述汇总了利用跨任务的先前经验以加速新任务学习的元学习方法，覆盖评估、任务特征和参数转移。

ABSTRACT

Meta-learning, or learning to learn, is the science of systematically observing how different machine learning approaches perform on a wide range of learning tasks, and then learning from this experience, or meta-data, to learn new tasks much faster than otherwise possible. Not only does this dramatically speed up and improve the design of machine learning pipelines or neural architectures, it also allows us to replace hand-engineered algorithms with novel approaches learned in a data-driven way. In this chapter, we provide an overview of the state of the art in this fascinating and continuously evolving field.

研究动机与目标

• 呈现对元学习技术及其如何利用跨任务的先前经验来指导在新任务上的学习的有组织的概览。
• 按元数据类型对元学习方法进行分类，从模型评估到任务属性和参数转移。
• 讨论元学习中的实际因素，如任务相似性、配置空间设计和学习曲线。
• 突出与 AutoML、小样本学习以及如多任务学习与集成学习等相关范式的联系。
• 确定在利用元数据进行更快、数据驱动的模型设计方面的挑战与潜在方向。

提出的方法

• 将元数据定义为算法配置、评估、模型参数和任务元特征。
• 描述独立于任务的建议以及如何构建配置的排序或组合。
• 通过信息丰富的默认值和超参数重要性来解释配置空间设计。
• 提出使用相对基准、代理模型和热启动的多任务学习等方法进行配置转移。
• 调研学习曲线以及跨任务信息如何加速提前停止和进度预测。
• 勾勒将任务元特征映射到有前景的配置或性能预测的元模型。
• 讨论学习元特征和联合表示，包括用于任务相似性的 Siamese 网络。
• 探讨多种策略以利用相似任务和元数据进行优化的热启动。

实验结果

研究问题

• RQ1 如何利用来自先前任务的元数据来为新任务推荐或热启动配置？
• RQ2 使用评估、学习曲线或元特征衡量任务相似性的有效方法是什么？
• RQ3 代理模型、相对基准和多任务学习如何促进相关任务之间的迁移？
• RQ4 学习曲线和默认超参数在元学习中对更快优化的作用是什么？
• RQ5 哪些元模型在跨异质任务时最能预测性能或对配置进行排序？

主要发现

• 元学习可以通过跨任务利用先前的评估、元特征和学习曲线来提高搜索效率。
• 任务相似性可以通过相对基准、代理预测或学习的元表示来指导优化。
• 存在多种策略用于配置搜索空间设计并识别有效的默认值以加速 AutoML 系统。
• 用来自相似任务的信息对贝叶斯优化和其他优化器进行热启动可加速收敛。
• 能够预测性能或对配置进行排序的元模型使跨任务的剪枝更快、配置选择更智能。