[论文解读] How to train your MAML

Antreas Antoniou, Harrison Edwards+1 more|arXiv (Cornell University)|Oct 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用 83

一句话总结

本文提出了 MAML++，一种强化的 MAML 变体，稳定训练、减少计算并提升泛化，在标准小样本基准（Omniglot 和 Mini-ImageNet）上实现了最先进的结果。

ABSTRACT

The field of few-shot learning has recently seen substantial advancements. Most of these advancements came from casting few-shot learning as a meta-learning problem. Model Agnostic Meta Learning or MAML is currently one of the best approaches for few-shot learning via meta-learning. MAML is simple, elegant and very powerful, however, it has a variety of issues, such as being very sensitive to neural network architectures, often leading to instability during training, requiring arduous hyperparameter searches to stabilize training and achieve high generalization and being very computationally expensive at both training and inference times. In this paper, we propose various modifications to MAML that not only stabilize the system, but also substantially improve the generalization performance, convergence speed and computational overhead of MAML, which we call MAML++.

研究动机与目标

• 在极少量数据下，推动对鲁棒小样本学习与快速适应的需求。
• 识别 MAML 的稳定性、泛化性与计算瓶颈。
• 提出架构和算法改进以解决这些问题。
• 在标准小样本基准上展示改进的性能和效率。

提出的方法

• 在 MAML 的基础上扩展六项有针对性的改进，以稳定训练并提升性能。
• 引入多步损失优化（MSL），在每个内环步骤提供梯度。
• 在训练过程中应用导数阶次退火，从一阶梯度切换到二阶梯度。
• 使用每步的批量归一化运行统计来替代跨内步的共享统计。
• 采用每步的批量归一化权重和偏置以匹配不断变化的特征分布。
• 实现每层、每步的学习率和梯度方向，以提高自适应灵活性同时控制开销。
• 对元优化器的学习率采用余弦退火，以避免超参数搜索。

实验结果

研究问题

• RQ1 在不牺牲泛化能力的前提下，MAML 的不稳定性与高计算开销是否可以得到缓解？
• RQ2 一系列有针对性的架构与优化变更是否能带来更好的稳定性、更快的收敛以及更高的小样本准确率？
• RQ3 是否能够通过修订后的 MAML 框架在 Omniglot 和 Mini-ImageNet 上达到最先进的结果？
• RQ4 逐步统计、逐层学习率以及学习率调度对跨任务的元学习性能有何影响？

主要发现

• 相较于原始 MAML，MAML++ 在种子与架构上稳定训练，具有更快的收敛速度和更强的泛化能力。
• 提出的多步损失和退火策略提升梯度传播和最终性能。
• 逐步批量归一化统计和逐步偏置改善收敛速度和泛化。
• 按层逐步学习率与梯度方向的学习带来灵活性，同时开销可控。
• 对元优化器学习率采用余弦退火减少了对大量超参数搜索的依赖，同时保持性能。
• 在 Omniglot 和 Mini-Imagenet 的实证结果显示 MAML++ 取得了最先进的性能，在若干设置下优于现有方法。