[论文解读] Auto-Meta: Automated Gradient Based Meta Learner Search

Jaehong Kim, Sangyeul Lee+7 more|arXiv (Cornell University)|Jun 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用 25

一句话总结

本文提出 Auto-Meta，一种自动化的神经架构搜索框架，将渐进式神经架构搜索（PNAS）应用于发现适用于基于梯度的元学习器的最优深度神经网络架构。通过联合优化基于梯度的元学习器架构与初始化，Auto-Meta 在 5-shot 5-way Mini-ImageNet 基准上实现了 74.65% 的准确率——比 MAML 提高了 11.54%，标志着神经架构搜索在元学习领域中的首次成功应用。

ABSTRACT

Fully automating machine learning pipelines is one of the key challenges of current artificial intelligence research, since practical machine learning often requires costly and time-consuming human-powered processes such as model design, algorithm development, and hyperparameter tuning. In this paper, we verify that automated architecture search synergizes with the effect of gradient-based meta learning. We adopt the progressive neural architecture search \cite{liu:pnas_google:DBLP:journals/corr/abs-1712-00559} to find optimal architectures for meta-learners. The gradient based meta-learner whose architecture was automatically found achieved state-of-the-art results on the 5-shot 5-way Mini-ImageNet classification problem with $74.65\%$ accuracy, which is $11.54\%$ improvement over the result obtained by the first gradient-based meta-learner called MAML \cite{finn:maml:DBLP:conf/icml/FinnAL17}. To our best knowledge, this work is the first successful neural architecture search implementation in the context of meta learning.

研究动机与目标

• 自动化设计基于梯度的元学习器的神经网络架构，减少对人工经验的依赖。
• 探究自动化架构搜索是否能与基于梯度的元学习协同作用，以提升少样本分类性能。
• 展示神经架构搜索在元学习文献中的首次成功实现。
• 开发一种可扩展、高效的高绩效元学习器架构发现方法，结合渐进式搜索与可微分架构搜索。

提出的方法

• 该方法采用渐进式神经架构搜索（PNAS）来迭代扩展并评估元学习器的候选架构。
• 训练一个基于强化学习的控制器网络，以在无需完整训练的情况下预测候选架构的性能。
• 搜索聚焦于学习一种可重复堆叠的单元架构，以构建完整的卷积元学习器。
• 最终的元学习器使用 MAML 的一阶近似（Reptile）实现对新任务的快速适应。
• 在测试时应用归纳推理（transduction inference），利用支持集的批量统计信息以提升泛化能力。
• 在 Omniglot 和 Mini-ImageNet 上进行搜索，通过第一卷积层的滤波器数量（F）控制模型容量。

实验结果

研究问题

• RQ1 自动化神经架构搜索能否提升基于梯度的元学习器在少样本学习中的性能？
• RQ2 架构搜索与元学习之间的协同作用是否能在标准基准上带来 SOTA 结果？
• RQ3 所搜索的元学习器架构的深度与结构与人工设计的模型相比如何？
• RQ4 渐进式架构搜索能否在避免过高计算成本的前提下高效发现高性能的元学习器架构？
• RQ5 归纳推理对所搜索元学习器最终性能的影响是什么？

主要发现

• Auto-Meta 在 5-shot 5-way Mini-ImageNet 基准上实现了 74.65% 的准确率，相比原始 MAML 方法提高了 11.54%。
• 所搜索的架构即使参数量更少，也优于人工设计的模型（包括 Reptile 和原型网络）。
• 在 1-shot 5-way 设置下，该方法使用更大的模型实现了 57.58% 的准确率，超越了先前的基线方法。
• 渐进式搜索过程随时间推移更倾向于选择更深的架构，这从训练过程中单元深度的分布可得证。
• 该方法表明，架构搜索可显著提升元学习器性能，且无需引入复杂的辅助组件。
• 结果证实，当与基于梯度的元学习结合时，自动化架构搜索具有显著优势，尤其在低数据场景下。