[论文解读] Meta-SGD: Learning to Learn Quickly for Few-Shot Learning

Zhenguo Li, Fengwei Zhou+2 more|arXiv (Cornell University)|Jul 31, 2017

Domain Adaptation and Few-Shot Learning参考文献 26被引用 839

一句话总结

Meta-SGD 学习一个类似 SGD 的元学习者，在一次性步骤中初始化并自适应任何可微学习器，通过学习初始化、更新方向和每参数学习率，在回归、分类和强化学习中取得强劲的结果。

ABSTRACT

Few-shot learning is challenging for learning algorithms that learn each task in isolation and from scratch. In contrast, meta-learning learns from many related tasks a meta-learner that can learn a new task more accurately and faster with fewer examples, where the choice of meta-learners is crucial. In this paper, we develop Meta-SGD, an SGD-like, easily trainable meta-learner that can initialize and adapt any differentiable learner in just one step, on both supervised learning and reinforcement learning. Compared to the popular meta-learner LSTM, Meta-SGD is conceptually simpler, easier to implement, and can be learned more efficiently. Compared to the latest meta-learner MAML, Meta-SGD has a much higher capacity by learning to learn not just the learner initialization, but also the learner update direction and learning rate, all in a single meta-learning process. Meta-SGD shows highly competitive performance for few-shot learning on regression, classification, and reinforcement learning.

研究动机与目标

• 通过可学习的优化策略，在少样本学习中用有限数据推动快速适应。
• 提出一个类似 SGD 的元学习器，联合学习初始化和逐参数更新规则。
• 展示学习更新方向和学习率相较于先前的元学习器提高了容量。
• 展示在回归、分类和强化学习中，通过一步适应实现具有竞争力或最先进的性能。

提出的方法

• 引入 Meta-SGD，一个类似优化器的元学习器，其更新学习者为 θ' = θ − α ∘ ∇Ltrain(θ)，其中 α 与 θ 一起学习。
• 端到端地在来自任务分布 p(T) 的大量相关任务中学习初始化 θ 与更新尺度 α。
• 通过在跨任务的一步适应后最小化测试集上的期望泛化损失来训练元学习器（元训练）。
• 将该框架应用于监督学习（回归和分类）和强化学习，在所有情况下均使用类似 SGD 的更新。
• 将 Meta-SGD 与 Meta-LSTM 和 MAML 进行比较，强调更高的容量以及更简单、更高效的训练。

实验结果

研究问题

• RQ1 如何设计一个元学习器，使其能够从少样本数据中为新任务初始化并自适应学习者？
• RQ2 学习更新方向和逐参数学习率是否能在仅学习初始化之外提升少样本泛化？
• RQ3 单次前向传递的自适应（一步）是否能在回归、分类和强化学习任务中达到具有竞争力或更优的性能？
• RQ4 在训练效率和性能方面，Meta-SGD 与现有元学习方法（MAML、Meta-LSTM）相比如何？

主要发现

• Meta-SGD 在回归、分类和强化学习中的一步适应实现了高度竞争的结果。
• 在回归中，Meta-SGD 在正弦曲线少样本任务的 5-shot、10-shot 和 20-shot 设置上均优于 MAML。
• 在 Omniglot 和 MiniImagenet 分类中，Meta-SGD 达到最先进或具竞争力的准确率，通常在多个设置中超过 MAML 和 Meta-LSTM。
• 在强化学习中，Meta-SGD 在具有固定起点和变化起点的 2D 导航任务中得到的回报高于 MAML。
• 由于在单一元学习过程中学习初始化、更新方向和学习率，Meta-SGD 的训练和适应速度比 Meta-LSTM 和 MAML 更快。