[论文解读] Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks

Chelsea Finn, Pieter Abbeel+1 more|arXiv (Cornell University)|Mar 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用 5,758

一句话总结

定义一个模型无关的元学习算法（MAML），通过仅几次梯度步骤训练模型，使其能够快速适应新任务，覆盖监督学习和强化学习领域。

ABSTRACT

We propose an algorithm for meta-learning that is model-agnostic, in the sense that it is compatible with any model trained with gradient descent and applicable to a variety of different learning problems, including classification, regression, and reinforcement learning. The goal of meta-learning is to train a model on a variety of learning tasks, such that it can solve new learning tasks using only a small number of training samples. In our approach, the parameters of the model are explicitly trained such that a small number of gradient steps with a small amount of training data from a new task will produce good generalization performance on that task. In effect, our method trains the model to be easy to fine-tune. We demonstrate that this approach leads to state-of-the-art performance on two few-shot image classification benchmarks, produces good results on few-shot regression, and accelerates fine-tuning for policy gradient reinforcement learning with neural network policies.

研究动机与目标

• 通过基于梯度的元学习方法促进跨多种任务的快速自适应。
• 开发一个通用算法，兼容任何通过梯度下降训练的模型。
• 训练模型参数，使得小幅度的梯度更新在新任务上就能产生良好表现。
• 展示在少样本回归和分类上的快速自适应，以及强化学习微调的加速。

提出的方法

• 提出 MAML，它优化初始参数，使得在新任务上进行一到几次梯度更新就能取得良好表现。
• 使用双层优化：元目标在从 p(T) 抽取的任务上评估更新后的性能。
• 通过对梯度更新进行反向传播来计算元梯度（需要二阶导数）；讨论一次近似。
• 将其应用于带任务特定数据和损失的监督学习（分类和回归）和强化学习。
• 证明与各种体系结构（全连接、卷积、递归）以及损失类型的兼容性。
• 提供基于 SGD 的元更新规则以及关于计算成本的实用说明。

实验结果

研究问题

• RQ1 MAML 是否能够跨领域实现新任务的快速学习？
• RQ2 MAML 是否在少样本监督学习和强化学习中有效？
• RQ3 在测试时，随附加的梯度更新或数据，学习到的初始化是否仍能继续提升？

主要发现

• MAML 在少样本图像分类基准测试（Omniglot 和 MiniImagenet）中达到最先进或具有竞争力的结果。
• MAML 在少样本回归中获得强大表现，展示对未见正弦波函数的快速泛化。
• 在强化学习中，MAML 加速了对新任务的策略微调，优于标准预训练基线。
• MAML 的一阶近似的表现几乎与完整的二阶导数版本相近，提供速度提升。
• 该方法对模型和任务是无关的，且可应用于可微分的监督损失和不可微分的 RL 目标。